问答 2024-12-17 来自:开发者社区

使用开源spark-datasource-v3.1写maxcompute丢失数据问题

当我使用https://github.com/aliyun/aliyun-maxcompute-data-collectors/tree/master/spark-datasource-v3.1 中开源的spark连接器往maxcompute写数据时有较大概率丢失数据,任务为批处理任务,但是任务不会报任何错误,且正常commiting以及commited,请问有什么方法可以解决该问题吗?

阿里云文档 2024-11-15

Spark数据合规说明

本文介绍使用云原生数据仓库 AnalyticDB MySQL 版时可能涉及的海外到中国内地的数据跨境情况。

阿里云文档 2024-11-13

DataWorks中EMR Serverless Spark版本的用户画像分析的加工数据阶段

本文为您介绍如何用Spark SQL创建外部用户信息表ods_user_info_d_spark以及日志信息表ods_raw_log_d_spark访问存储在私有OSS中的用户与日志数据,通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据,阅读本文后,您可以了解如何通过Spark SQL来计算和分析已同步的数据,完成数仓简单数据加工场景。

阿里云文档 2024-11-07

Spark作业读写OSS数据

本文以Spark自带的PageRank作业为例,介绍如何在ACK集群中运行Spark作业,并配置读写位于阿里云OSS(对象存储服务)中的数据。

阿里云文档 2024-10-24

DataWorks中如何同步数据至EMR Serverless Spark

本教程以MySQL数据源中的用户基本信息ods_user_info_d表和HttpFile中的网站访问日志数据user_log.txt文件为例,通过数据集成离线同步任务分别同步至私有OSS中,再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据同步操作。

阿里云文档 2024-09-06

通过Spark SQL读DLF管理的数据

数据湖构建 DLF(Data Lake Formation)提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

问答 2024-03-26 来自:开发者社区

请教一下,如何通过spark删除大数据计算MaxCompute分区数据啊?

请教一下,如何通过spark删除大数据计算MaxCompute分区数据啊?spark.sql执行drop语句没有用?

问答 2023-08-21 来自:开发者社区

云数据仓库ADB Spark 能访问 MaxCompute 里的数据么?

云数据仓库ADB Spark 能访问 MaxCompute 里的数据么?

问答 2022-02-15 来自:开发者社区

Spark并发从Maxcompute获取数据,出现数据类型转换异常

使用df = spark.sql(" select * from table_name limit 100 ")能正常获取数据,但是使用spark.read.jdbc(url=url, table="table_name", predicates=predicates, properties=properties)分区并发从maxcompute获取出现类型转换异常。 Python代码: pred....

文章 2020-09-22 来自:开发者社区

Spark On MaxCompute如何访问Phonix数据

一、购买Hbase1.1并设置对应资源 1.1购买hbase hbase主要版本为2.0与1.1,这边选择对应hbase对应的版本为1.1Hbase与Hbase2.0版本的区别HBase1.1版本1.1版本基于HBase社区1.1.2版本开发。HBase2.0版本2.0版本是基于社区2018年发布的HBase2.0.0版本开发的全新版本。同样,在此基础上,做了大量的改进和优化,吸收了众多阿里内部....

Spark On MaxCompute如何访问Phonix数据

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注