阿里云文档 2026-02-02

Serverless Spark支持通过自动或手动解冻OSS归档文件,确保SQL作业连续执行,需版本esr-4.4.0及以上。

当Spark作业需读取OSS归档存储中的数据时,因文件处于冻结状态无法直接访问,导致任务失败。本功能支持自动或手动触发解冻流程,确保作业正常执行,提升冷数据处理效率。

阿里云文档 2025-11-19

如何通过Spark SQL读写RDS PostgreSQL数据

云原生数据仓库 AnalyticDB MySQL 版支持提交Spark SQL作业,您可以通过View方式访问自建PostgreSQL数据库或云数据库 RDS PostgreSQL 版数据库。本文以RDS for PostgreSQL为例,介绍如何通过Spark SQL读写RDS for PostgreSQL数据。

阿里云文档 2025-11-19

Spark SQL访问MaxCompute数据源

本文介绍如何在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL读写MaxCompute数据。

阿里云文档 2025-01-09

通过Spark SQL读MySQL数据

云原生数据仓库 AnalyticDB MySQL 版支持提交Spark SQL作业,您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例,介绍如何通过Spark SQL访问RDS MySQL数据。

文章 2024-10-14 来自:开发者社区

大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
问答 2024-08-01 来自:开发者社区

云数据仓库ADB Spark SQL访问MaxCompute数据源-支持的库表操作

云数据仓库ADB Spark SQL访问MaxCompute数据源-支持的库表操作

问答 2024-06-08 来自:开发者社区

DMS任务编排跨库Spark SQL节点支持什么数据源

DMS任务编排跨库Spark SQL节点支持什么数据源

文章 2023-12-25 来自:开发者社区

Note_Spark_Day08:Spark SQL(Dataset是什么、外部数据源、UDF定义和分布式SQL引擎)

Spark Day08:Spark SQL01-[了解]-昨日课程内容回顾上次课程主要讲解3个方面内容:SparkSQL模块概述、DataFrame数据集及综合案例分析。1、SparkSQL 模块概述 - 发展史【前世今生】 Shark -> SparkSQL(1.0) -> DataFrame(1.3) -> Dataset(1.6) -> Dataset/...

Note_Spark_Day08:Spark SQL(Dataset是什么、外部数据源、UDF定义和分布式SQL引擎)
文章 2023-01-14 来自:开发者社区

spark2 sql读取数据源编程学习样例2:函数实现详解

这里接着上篇,继续阅读代码,下面我们看看runBasicParquetExample函数的功能实现runBasicParquetExample函数private def runBasicParquetExample(spark: SparkSession): Unit = { // $example on:basic_parquet_example$ // Encoders for ...

spark2 sql读取数据源编程学习样例2:函数实现详解
文章 2023-01-14 来自:开发者社区

spark2 sql读取数据源编程学习样例1

作为一个开发人员,我们学习spark sql,最终的目标通过spark sql完成我们想做的事情,那么我们该如何实现。这里根据官网,给出代码样例,并且对代码做一些诠释和说明。/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See...

spark2 sql读取数据源编程学习样例1

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注