问答 2024-12-17 来自:开发者社区

使用开源spark-datasource-v3.1写maxcompute丢失数据问题

当我使用https://github.com/aliyun/aliyun-maxcompute-data-collectors/tree/master/spark-datasource-v3.1 中开源的spark连接器往maxcompute写数据时有较大概率丢失数据,任务为批处理任务,但是任务不会报任何错误,且正常commiting以及commited,请问有什么方法可以解决该问题吗?

阿里云文档 2024-11-15

Spark数据合规说明

本文介绍使用云原生数据仓库 AnalyticDB MySQL 版时可能涉及的海外到中国内地的数据跨境情况。

阿里云文档 2024-11-13

DataWorks中EMR Serverless Spark版本的用户画像分析的加工数据阶段

本文为您介绍如何用Spark SQL创建外部用户信息表ods_user_info_d_spark以及日志信息表ods_raw_log_d_spark访问存储在私有OSS中的用户与日志数据,通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据,阅读本文后,您可以了解如何通过Spark SQL来计算和分析已同步的数据,完成数仓简单数据加工场景。

阿里云文档 2024-11-07

Spark作业读写OSS数据

本文以Spark自带的PageRank作业为例,介绍如何在ACK集群中运行Spark作业,并配置读写位于阿里云OSS(对象存储服务)中的数据。

阿里云文档 2024-10-24

DataWorks中如何同步数据至EMR Serverless Spark

本教程以MySQL数据源中的用户基本信息ods_user_info_d表和HttpFile中的网站访问日志数据user_log.txt文件为例,通过数据集成离线同步任务分别同步至私有OSS中,再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据同步操作。

阿里云文档 2024-09-06

通过Spark SQL读DLF管理的数据

数据湖构建 DLF(Data Lake Formation)提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

问答 2022-09-07 来自:开发者社区

我现在用开源spark读取hive是这样配置的 用EMR 内置的spark想读取hive数据该怎么弄

我现在用开源spark读取hive是这样配置的 用EMR 内置的spark想读取hive数据该怎么操作呢 官网没找到代码配置

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注