阿里云文档 2026-06-09

通过Spark UI或HDFS Shell查看计算引擎作业运行日志

计算引擎作业提交成功后,您可以通过SparkUI界面或者HDFS Shell工具查看作业运行状态。

阿里云文档 2026-04-14

Shell类型节点运行Python脚本

DataWorks的Shell类型节点支持运行Python脚本。本文将为您介绍如何使用通用Shell节点或EMR Shell节点运行Python 2或Python 3脚本。

问答 2023-11-13 来自:开发者社区

DataWorks补数据SHELL执行 curl 报错,但是手动运行业务流程不会报这个错?

DataWorks补数据SHELL执行 curl 报错,但是手动运行业务流程不会报这个错?

阿里云文档 2023-02-23

问题描述Dataphin使用Shell任务运行DataX同步任务时报错datax.py的路径找不到是什么原因?解决方案路径不对,修改datax.py的路径从$DATA_HOME修改为$DATAX_HOME。DATADATAX适用于Dataphin

问答 2023-01-09 来自:开发者社区

Dataworks中的shell节点如何运行SQL

Dataworks中的shell节点如何运行SQL

阿里云文档 2022-07-14

问题描述Dataphin中使用Shell任务调用Datax脚本,将MaxCompute数据同步至OSS,补数据运行报错“Shell command exit with code: 247”。完整的报错日志如下展示:2022-07-08 13:45:10.962 [0-0-0-writer] INFO...

阿里云文档 2022-05-13

Dataphin中Shell运行JAR文件报错bash:java:commandnotfound

问题描述Dataphin中Shell运行Jar文件报错“bash: java: command not found”。问题原因1.代码打成Jar包的时候,需要Jar包名称和main方法所在类名称保持一致;上传资源文件的时候,名称需要和Jar文件名称保持一致:2.需要注意java -jar命令是在Sh...

文章 2022-02-17 来自:开发者社区

DataWorks如何将shell任务运行在自定义资源组上

在进行数据开发中,有很多时候需要使用shell 来调用其他语言。但是在DataWorks上,底层的机器运行任务时都会有沙箱限制,沙箱会限制网络访问和禁止本地IO读写等等,会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境(自己的机器上)呢。 我们可以将任务的运行环境预先在某台机器上准备好,然后将任务指定在这台机器上运行。 注:目前只有华东2支持将shell任务运行在自定义资源组上。 新增.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐