把Lindorm jar Spark作业转换为通过Shell脚本自动调度执行
把Lindorm jar Spark作业转换为通过Shell脚本自动调度执行
开发JAR任务
您可以自行编写并构建包含业务逻辑的JAR包,上传此业务JAR包后,即可便捷地创建Spark JAR任务。本文通过一个示例,为您演示如何进行JAR任务的开发与部署。
在client模式下,如果spark job的jar包过大,可能会导致什么问题?如何解决?
在client模式下,如果spark job的jar包过大,可能会导致什么问题?如何解决?
dataworks用python写odps spark任务有任何办法引用到额外的jar包吗?
odps spark任务只有使用java时才可以选择jar包资源,python时只能选择python或者archives资源。我想使用graphframes,该包不只需要python还需要jar包。请问该如何把jar包在提交python odps spark任务的时候加进去呢?
DataWorks生产spark jar 能不能访问只和主账号有关系,跟谁调度作业无关?
DataWorks生产spark jar 能不能访问只和主账号有关系,跟谁调度作业无关?
DataWorks有什么方式可以让spark jar能访问表但是临时查询不能访问表数据?
DataWorks现在有种场景,一张表对作业人员做了访问控制,不能在临时查询界面查询表信息,但同时也导致了作业人员运行的spark jar也不能访问这张表了,有什么方式可以让spark jar能访问表但是临时查询不能访问表数据?
DataWorks中Local 方式使用 Spark 配置好jar包,依旧报The value ?
DataWorks中Local 方式使用 Spark 配置好jar包,依旧报The value of spark.sql.catalogImplementation should be one of hive, in-memory, but was odps?
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。