阿里云文档 2026-04-08

Lindorm Spark SQL节点,Lindorm Spark SQL

DataWorks的Lindorm Spark SQL节点可进行Lindorm Spark SQL任务的开发和周期性调度。本文为您介绍使用Lindorm Spark SQL节点进行任务开发的主要流程。

阿里云文档 2026-02-02

Serverless Spark支持通过自动或手动解冻OSS归档文件,确保SQL作业连续执行,需版本esr-4.4.0及以上。

当Spark作业需读取OSS归档存储中的数据时,因文件处于冻结状态无法直接访问,导致任务失败。本功能支持自动或手动触发解冻流程,确保作业正常执行,提升冷数据处理效率。

阿里云文档 2025-11-19

如何通过Spark SQL读写RDS PostgreSQL数据

云原生数据仓库 AnalyticDB MySQL 版支持提交Spark SQL作业,您可以通过View方式访问自建PostgreSQL数据库或云数据库 RDS PostgreSQL 版数据库。本文以RDS for PostgreSQL为例,介绍如何通过Spark SQL读写RDS for PostgreSQL数据。

阿里云文档 2025-06-19

通过Spark SQL读写Iceberg外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版中使用Spark SQL读写Iceberg外表。

阿里云文档 2025-04-17

通过Spark SQL读写SQL Server数据

云原生数据仓库 AnalyticDB MySQL 版支持提交Spark SQL作业,您可以通过View方式访问自建SQL Server数据库或云数据库 RDS SQL Server 版数据库。本文以云数据库 RDS SQL Server 版为例,介绍如何通过Spark SQL访问SQL Server数据。

问答 2024-05-30 来自:开发者社区

DataWorks中DataLake版EMR spark sql任务 Operation ca...

DataWorks中DataLake版EMR spark sql任务 Operation category READ is not supported in state standby

问答 2023-01-09 来自:开发者社区

DataWorks中DataLake版EMR spark sql任务Operation catego

DataWorks中DataLake版EMR spark sql任务Operation category READ is not supported in state standby

文章 2022-02-17 来自:开发者社区

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者:伯箫,阿里云高级开发工程师。现在在阿里云表格存储团队,负责管控系统的开发,对NOSQL类数据库系统有一些了解。 前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,.....

文章 2022-02-17 来自:开发者社区

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。 场景设计 假设有一个商品表Goods,商品信....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注