阿里云文档 2024-12-19

ADB Spark SQL的使用

DataWorks的ADB Spark SQL节点可进行AnalyticDB Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB Spark SQL节点进行任务开发的主要流程。

阿里云文档 2024-10-17

通过Spark SQL读写Azure Blob Storage外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版中使用Spark SQL读写Azure Blob Storage中的数据。

阿里云文档 2024-10-14

Spark SQL诊断优化

云原生数据仓库 AnalyticDB MySQL 版推出Spark SQL诊断功能,若您提交的Spark SQL存在性能问题,您可以根据诊断信息快速定位、分析并解决性能瓶颈问题,优化Spark SQL。本文主要介绍如何进行Spark SQL性能诊断以及性能诊断的示例。

阿里云文档 2024-09-06

通过Spark SQL读DLF管理的数据

数据湖构建 DLF(Data Lake Formation)提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

阿里云文档 2024-08-16

通过Spark SQL读写AWS S3外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)中使用Spark SQL读写AWS S3中的数据。

问答 2024-07-15 来自:开发者社区

DataWorks中CDH Spark SQL 运行报错了,麻烦看看呢,日志如下?

DataWorks中CDH Spark SQL 运行报错了,麻烦看看呢,日志如下?

问答 2024-05-24 来自:开发者社区

MaxCompute Spark与sql运行速度差距大

MaxCompute Spark与sql运行速度差距大

文章 2022-02-17 来自:开发者社区

【译】使用Spark SQL 运行大规模基因组工作流

编译: 诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。 使用Spark SQL 运行大规模基因组工作流 在过去十年中,随着基因组测序价格下降,可用基因组数据的数量逐渐激增。研究人员现在已经能够从英国生物银行等项目的数十万人群中探测遗传变异和疾病之间的关联。这些分析将使.....

文章 2022-02-17 来自:开发者社区

【译】使用Spark SQL 运行大规模基因组工作流

原文链接: https://databricks.com/blog/2019/06/26/scaling-genomic-workflows-with-spark-sql-bgen-and-vcf-readers.html 编译: 诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面....

文章 2022-02-15 来自:开发者社区

Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL运行流程解析

1.整体运行流程 使用下列代码对SparkSQL流程进行分析,让大家明白LogicalPlan的几种状态,理解SparkSQL整体执行流程 // sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) // this is used to implicitly conve...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注