阿里云文档 2025-08-05

开发JAR批任务

您可以自行编写并构建包含业务逻辑的JAR包,上传此业务JAR包后,即可便捷地开发Spark JAR。本文通过两个示例,为您演示如何进行JAR任务的开发与部署。

问答 2024-08-21 来自:开发者社区

DataWorks有个shell 调 jar 包的任务A,正常会 3 点启动,1.5h 结束?

DataWorks有个shell 调 jar 包的任务A,正常会 3 点启动,1.5h 结束,但是经常会卡住,比如7-8 点还在运行中,没有任何日志,数据也是正常的,可能是 dataworks 因为网络原因没有成功拿到返回值。 这样就影响下游了, 我的设想是,A 5 点没结束就 kill 掉,根据 A 的运行状态,再启动个 A_copy任务 但是这么看好像没法实现呀,更好的实现办法吗?

问答 2024-07-24 来自:开发者社区

Flinkcdc每次监听的表不一样的话,开启job任务的话需要每次上传新的jar文件吗?

Flinkcdc每次监听的表不一样的话,开启job任务的话需要每次上传新的jar文件吗?

问答 2024-07-15 来自:开发者社区

Flink任务的jar包打的是最小包,如何指定这个本地磁盘lib目录,能有效加载这些依赖包呢?

Flink任务的jar包打的是最小包,maven依赖的其他包在本地磁盘lib目录,flink启动脚本,在yarn上运行,如何指定这个本地磁盘lib目录,能有效加载这些依赖包呢?

问答 2024-07-09 来自:开发者社区

dataworks用python写odps spark任务有任何办法引用到额外的jar包吗?

odps spark任务只有使用java时才可以选择jar包资源,python时只能选择python或者archives资源。我想使用graphframes,该包不只需要python还需要jar包。请问该如何把jar包在提交python odps spark任务的时候加进去呢?

问答 2024-06-26 来自:开发者社区

运行flink 任务报这个错,是因为mysql 的连接jar 包版本问题吗?

运行flink 任务报这个错,是因为mysql 的连接jar 包版本问题吗?

问答 2024-06-19 来自:开发者社区

在阿里云全托管flink平台部署jar任务总是报错,如何解决?

在阿里云全托管flink平台部署jar任务总是报错,如何解决?Class conflicts, detailed context: ClassNotFoundException: com.aliyun.tea.TeaException

问答 2024-06-11 来自:开发者社区

Flink jar任务currentEmitEventTimeLag曲线不显示

Flink jar任务currentEmitEventTimeLag曲线不显示

问答 2024-06-04 来自:开发者社区

E-MapReduce中自己任务的jar包能否放到集群中

E-MapReduce中自己任务的jar包能否放到集群中

问答 2024-03-20 来自:开发者社区

flink的jar包任务,如果要配置日志级别修改为debug,这个是在哪里改呢?

flink的jar包任务,如果要配置日志级别修改为debug,这个是在哪里改呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。