AI 助理
备案控制台
阿里云文档 2024-11-15

Spark数据合规说明

本文介绍使用云原生数据仓库 AnalyticDB MySQL 版时可能涉及的海外到中国内地的数据跨境情况。

阿里云文档 2024-11-13

DataWorks中EMR Serverless Spark版本的用户画像分析的加工数据阶段

本文为您介绍如何用Spark SQL创建外部用户信息表ods_user_info_d_spark以及日志信息表ods_raw_log_d_spark访问存储在私有OSS中的用户与日志数据，通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据，阅读本文后，您可以了解如何通过Spark SQL来计算和分析已同步的数据，完成数仓简单数据加工场景。

阿里云文档 2024-11-07

Spark作业读写OSS数据

本文以Spark自带的PageRank作业为例，介绍如何在ACK集群中运行Spark作业，并配置读写位于阿里云OSS（对象存储服务）中的数据。

阿里云文档 2024-10-24

DataWorks中如何同步数据至EMR Serverless Spark

本教程以MySQL数据源中的用户基本信息ods_user_info_d表和HttpFile中的网站访问日志数据user_log.txt文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据同步操作。

阿里云文档 2024-09-06

通过Spark SQL读DLF管理的数据

数据湖构建 DLF（Data Lake Formation）提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

文章 2024-05-26 来自：开发者社区

使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）

@[toc] 源数据描述 在 MySQL 中建立了表 order_info ，其字段信息如下所示： +--------------------+------------------+------+-----+-------------------+-----------------------------+...

文章 2022-02-15 来自：开发者社区

【Spark Summit EU 2016】寻找流式数据中的异常：一种有趣的可伸缩方法

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Casey Stella在Spark Summit EU上的演讲，主要介绍了流数据分析和其优缺点以及异常数据分析的方法，还介绍了在分布式计算....

问答 2022-02-15 来自：开发者社区

Spark并发从Maxcompute获取数据，出现数据类型转换异常

使用df = spark.sql(" select * from table_name limit 100 ")能正常获取数据，但是使用spark.read.jdbc(url=url, table="table_name", predicates=predicates, properties=properties)分区并发从maxcompute获取出现类型转换异常。 Python代码： pred....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark数据相关内容

apache spark更多数据相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注