阿里云文档 2024-09-06

通过Spark SQL访问DLF元数据

数据湖构建 DLF(Data Lake Formation)提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

阿里云文档 2024-08-30

通过Spark SQL访问JDBC MySQL数据源

AnalyticDB MySQL湖仓版(3.0)支持提交Spark SQL作业,您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例,介绍如何通过Spark SQL访问RDS MySQL数据。

阿里云文档 2024-08-16

如何使用Analytic, DB for MySQL, Spark读写AWS S3上的数据

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)中使用Spark SQL读写AWS S3中的数据。

问答 2024-08-01 来自:开发者社区

云数据仓库ADB Spark SQL访问MaxCompute数据源-支持的库表操作

云数据仓库ADB Spark SQL访问MaxCompute数据源-支持的库表操作

阿里云文档 2024-07-26

Spark SQL访问MaxCompute数据源

本文介绍如何使用AnalyticDB MySQL湖仓版(3.0)Spark SQL读写MaxCompute数据。

问答 2024-06-08 来自:开发者社区

DMS任务编排跨库Spark SQL节点支持什么数据源

DMS任务编排跨库Spark SQL节点支持什么数据源

文章 2023-12-25 来自:开发者社区

Note_Spark_Day08:Spark SQL(Dataset是什么、外部数据源、UDF定义和分布式SQL引擎)

Note_Spark_Day08:Spark SQL(Dataset是什么、外部数据源、UDF定义和分布式SQL引擎)

Note_Spark_Day08:Spark SQL(Dataset是什么、外部数据源、UDF定义和分布式SQL引擎)
文章 2023-01-14 来自:开发者社区

spark2 sql读取数据源编程学习样例2:函数实现详解

这里接着上篇,继续阅读代码,下面我们看看runBasicParquetExample函数的功能实现runBasicParquetExample函数private def runBasicParquetExample(spark: SparkSession): Unit = { // $example on:basic_parquet_example$ ...

spark2 sql读取数据源编程学习样例2:函数实现详解
文章 2023-01-14 来自:开发者社区

spark2 sql读取数据源编程学习样例1

作为一个开发人员,我们学习spark sql,最终的目标通过spark sql完成我们想做的事情,那么我们该如何实现。这里根据官网,给出代码样例,并且对代码做一些诠释和说明。/* * Licensed to the Apache Software Foundation (ASF) under one or more * c...

spark2 sql读取数据源编程学习样例1
文章 2022-06-13 来自:开发者社区

Spark SQL中基于parquet数据的加载方式、数据源的自动分区推断以及数据源的元数据合并

数据源:{"name":"Michael"} {"name":"Andy", "age":30} {"name":"Justin", "age":19} {"name":"Justin", "age":19}...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注