阿里云文档 2026-04-09

设置DataWorks中EMR任务的全局Spark参数

在DataWorks中,您可按照工作空间粒度指定各模块使用的SPARK参数,后续各模块将默认使用对应SPARK参数执行任务。您可参考Spark官方文档自定义全局Spark参数,并配置全局Spark参数的优先级是否高于指定模块内(数据开发、数据分析、运维中心)的SPARK参数。本文为您介绍如何设置全局Spark参数。

阿里云文档 2026-01-28

Spark Conf自定义参数列表

Serverless Spark支持多个内置特有参数,您可以查阅这些参数的名称、描述及其使用场景,以便灵活配置任务运行环境并优化任务执行。

阿里云文档 2025-12-17

Spark有哪些配置参数, 如何配置

云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)Spark配置参数跟开源Spark中的配置参数基本一致。本文介绍AnalyticDB for MySQL与开源Spark用法不一致的配置参数。

文章 2024-08-19 来自:开发者社区

DataWorks产品使用合集之如何引用在spark jar中引用密文的空间参数

问题一:DataWorks打开的很慢 是 阿里云的原因 还是 我本地电脑的原因? DataWorks打开一些字段很多的表结果的时候 打开的很慢 是 阿里云的原因 还是 我本地电脑的原因? 参考回答: ...

DataWorks产品使用合集之如何引用在spark jar中引用密文的空间参数
问答 2024-07-29 来自:开发者社区

在表格存储中官网的spark这样读取OTS能否设置连接OTS的超时参数?

在表格存储中官网的spark这样读取OTS能否设置连接OTS的超时参数?请参考图片:

问答 2024-07-29 来自:开发者社区

Spark提供了哪些主要参数来调整计算存储资源的使用情况?

Spark提供了哪些主要参数来调整计算存储资源的使用情况?

问答 2024-06-26 来自:开发者社区

大数据计算MaxCompute的spark on mc,要在dw上配置的话,里面的参数都有哪些呢?

大数据计算MaxCompute的spark on mc,如果要在dw上配置的话,在配置项里面的参数都有哪些呢?有没有清单列表啊?

文章 2024-05-29 来自:开发者社区

Spark参数解析之MasterArguments

前言 Spark参数解析的代码我郁闷了好一阵子,后面终于在快学Scala中看到的这种写法,记录一下。 关键源码 MasterArguments参数解析的时候有这么一段: private def parse(args: List[String]): Unit =...

问答 2024-05-27 来自:开发者社区

DataWorks在spark jar中引用密文的空间参数怎么引用呢?

DataWorks在spark jar中引用密文的空间参数怎么引用呢?

问答 2024-01-14 来自:开发者社区

dataworks中ODPS Spark 如何在代码中获取调度参数?

dataworks中ODPS Spark 如何在代码中获取调度参数?不是在sql中。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注