阿里云文档 2025-01-17

Spark SQL交互式查询

如果您需要以交互式方式执行Spark SQL,可以指定Spark Interactive型资源组作为执行查询的资源组。资源组的资源量会在指定范围自动扩缩容,在满足您交互式查询需求的同时还可以降低使用成本。本文为您详细介绍如何通过控制台、Hive JDBC、PyHive、Beeline、DBeaver等客户端工具实现Spark SQL交互式查询。

阿里云文档 2024-12-19

ADB Spark SQL的使用

DataWorks的ADB Spark SQL节点可进行AnalyticDB Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB Spark SQL节点进行任务开发的主要流程。

阿里云文档 2024-10-17

通过Spark SQL读写Azure Blob Storage外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版中使用Spark SQL读写Azure Blob Storage中的数据。

阿里云文档 2024-10-14

Spark SQL诊断优化

云原生数据仓库 AnalyticDB MySQL 版推出Spark SQL诊断功能,若您提交的Spark SQL存在性能问题,您可以根据诊断信息快速定位、分析并解决性能瓶颈问题,优化Spark SQL。本文主要介绍如何进行Spark SQL性能诊断以及性能诊断的示例。

阿里云文档 2024-09-06

通过Spark SQL读DLF管理的数据

数据湖构建 DLF(Data Lake Formation)提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列十(转自OopsOutOfMemory)

    /** Spark SQL源码分析系列文章*/     前面讲到了Spark SQL In-Memory Columnar Storage的存储结构是基于列存储的。     那么基于以上存储结构,我们查询cache在jvm内的数据又是如何查询的,本文将揭示查询In-Memory Data的方式。 一、...

Spark-SparkSQL深入学习系列十(转自OopsOutOfMemory)
文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列九(转自OopsOutOfMemory)

  /** Spark SQL源码分析系列文章*/     Spark SQL 可以将数据缓存到内存中,我们可以见到的通过调用cache table tableName即可将一张表缓存到内存中,来极大的提高查询效率。     这就涉及到内存中的数据的存储形式,我们知道基于关系型的数据可以存储为基于行...

Spark-SparkSQL深入学习系列九(转自OopsOutOfMemory)
文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列八(转自OopsOutOfMemory)

 /** Spark SQL源码分析系列文章*/  在SQL的世界里,除了官方提供的常用的处理函数之外,一般都会提供可扩展的对外自定义函数接口,这已经成为一种事实的标准。   在前面Spark SQL源码分析之核心流程一文中,已经介绍了Spark SQL Catalyst Analyzer的作用,其中包含了ResolveFunctions这个解析函...

Spark-SparkSQL深入学习系列八(转自OopsOutOfMemory)
文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列七(转自OopsOutOfMemory)

  /** Spark SQL源码分析系列文章*/   接上一篇文章Spark SQL Catalyst源码分析之Physical Plan,本文将介绍Physical Plan的toRDD的具体实现细节:   我们都知道一段sql,真正的执行是当你调用它的collect()方法才会执行Spark Job,最后计算得到RDD。 [java] vie...

Spark-SparkSQL深入学习系列七(转自OopsOutOfMemory)
文章 2016-05-11 来自:开发者社区

Spark-SparkSQL深入学习系列六(转自OopsOutOfMemory)

  /** Spark SQL源码分析系列文章*/   前面几篇文章主要介绍的是Spark sql包里的的spark sql执行流程,以及Catalyst包内的SqlParser,Analyzer和Optimizer,最后要介绍一下Catalyst里最后的一个Plan了,即Physical Plan。物理计划是Spark SQL执行Spark job的前置,...

Spark-SparkSQL深入学习系列六(转自OopsOutOfMemory)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注