阿里云文档 2025-10-28

Serverless Spark计算资源

若您要使用DataWorks进行EMR Serverless Spark任务的开发、管理,需先将您的EMR Serverless Spark工作空间绑定为DataWorks的Serverless Spark计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据开发操作。

阿里云文档 2025-10-28

绑定AnalyticDB for Spark计算资源

若您要使用DataWorks进行AnalyticDB for Spark任务的开发、管理,需先将您的云原生数据仓库AnalyticDB for MySQL集群绑定为DataWorks的AnalyticDB for Spark计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据开发操作。

问答 2025-09-10 来自:开发者社区

DataWorks 运行spark节点,程序logger日志无法展示

1.代码中没有创建sparksession时,可以在spark日志页面看到(也可以在控制台看到日志输出),但是会报错未初始化spark任务; 2.创建sparksession后,不展示前面的日志了,只可以在控制台中的日志链接中看,如下:不展示info级别日志,并且上面图1的warn和err日志也没有了(创建sparksession之前的日志输出没有了)

阿里云文档 2025-09-01

用户画像分析案例同步数据-基于新版数据开发和Spark计算资源

本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据,配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中,并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果,确认是否完成整个数据同步操作。

阿里云文档 2025-05-23

Lindorm Spark SQL节点,Lindorm Spark SQL

DataWorks的Lindorm Spark SQL节点可进行Lindorm Spark SQL任务的开发和周期性调度。本文为您介绍使用Lindorm Spark SQL节点进行任务开发的主要流程。

阿里云文档 2025-05-23

Lindorm Spark节点,Lindorm Spark节点

DataWorks的Lindorm Spark节点可进行Lindorm Spark任务的开发和周期性调度。本文为您介绍使用Lindorm Spark节点进行任务开发的主要流程。

问答 2024-03-19 来自:开发者社区

Dataworks运行scala-spark程序一直不动?

Dataworks运行scala-spark程序一直不动?

问答 2023-08-07 来自:开发者社区

dataworks里的spark程序连接数据源,需要开通或者配置什么?

dataworks里的spark程序连接数据源,需要开通或者配置什么?

问答 2023-07-16 来自:开发者社区

请问我再dataworks中建了ODPS Spark任务,任务对应的spark程序中调用了我们自己?

请问我再dataworks中建了ODPS Spark任务,任务对应的spark程序中调用了我们自己的一个公网ip接口 现在一直超时 是需要配置沙箱白名单吗?配置好后目前还是调不通

问答 2023-06-11 来自:开发者社区

DataWorks中我们提交的spark程序中,中间结果show出来,但日志中没有,是咋回事?

问题1:DataWorks中我们提交的spark程序中,中间结果show出来,但日志中没有,是咋回事? 问题2;您好,我这个显示的这样子,没有更多的选择了

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注