通过Spark UI或HDFS Shell查看计算引擎作业运行日志
计算引擎作业提交成功后,您可以通过SparkUI界面或者HDFS Shell工具查看作业运行状态。
Shell类型节点运行Python脚本
DataWorks的Shell类型节点支持运行Python脚本。本文将为您介绍如何使用通用Shell节点或EMR Shell节点运行Python 2或Python 3脚本。
DataWorks补数据SHELL执行 curl 报错,但是手动运行业务流程不会报这个错?
DataWorks补数据SHELL执行 curl 报错,但是手动运行业务流程不会报这个错?
Dataphin中Shell运行JAR文件报错bash:java:commandnotfound
问题描述Dataphin中Shell运行Jar文件报错“bash: java: command not found”。问题原因1.代码打成Jar包的时候,需要Jar包名称和main方法所在类名称保持一致;上传资源文件的时候,名称需要和Jar文件名称保持一致:2.需要注意java -jar命令是在Sh...
DataWorks如何将shell任务运行在自定义资源组上
在进行数据开发中,有很多时候需要使用shell 来调用其他语言。但是在DataWorks上,底层的机器运行任务时都会有沙箱限制,沙箱会限制网络访问和禁止本地IO读写等等,会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境(自己的机器上)呢。 我们可以将任务的运行环境预先在某台机器上准备好,然后将任务指定在这台机器上运行。 注:目前只有华东2支持将shell任务运行在自定义资源组上。 新增.....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。