dataworks apache spark 的相关内容

问答 2024-07-09 来自：开发者社区

dataworks用python写odps spark任务有任何办法引用到额外的jar包吗？

odps spark任务只有使用java时才可以选择jar包资源，python时只能选择python或者archives资源。我想使用graphframes，该包不只需要python还需要jar包。请问该如何把jar包在提交python odps spark任务的时候加进去呢？

文章 2024-06-30 来自：开发者社区

DataWorks产品使用合集之ODPS Spark找不到自己的stdout，该如何解决

问题一：dataworks支持循环嵌套吗？ dataworks支持循环嵌套吗？参考回答：循环节点不支持嵌套循环可以考虑用pyodps shell等节点关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/603378 问题二：DataWorks小时调度依赖日调...

问答 2024-06-30 来自：开发者社区

DataWorks中mc 跑任务太慢了还用的是mr , 怎么换到spark 呢？

文章 2024-06-29 来自：开发者社区

DataWorks产品使用合集之spark任务如何跨空间取表数据

问题一：DataWorks中spark任务是有办法跨空间取表数据吗？ DataWorks中spark任务是有办法跨空间取表数据吗？参考回答： odps spark吗指定项目名.表名访问试试 https://help.aliyun.com/zh/maxcompute/user-guide/spark-2-x-examples?spm=a2c4g.1118662...

文章 2024-06-11 来自：开发者社区

DataWorks操作报错合集之还未运行，spark节点一直报错，如何解决

问题一：DataWorks账号和密码没有问题，请问还可能因为什么问题导致这个报错信息？ DataWorks账号和密码没有问题，请问还可能因为什么问题导致这个报错信息？参考回答：这个报错信息中提到...

文章 2024-06-10 来自：开发者社区

DataWorks操作报错合集之spark操作odps，写入时报错，是什么导致的

问题一：DataWorks这个是什么情况？ DataWorks这个是什么情况？参考回答：您提供的日志信息显示的是一个名为 "DataWorks" 的系统在执行某些任务（M1 job）的过程中，出...

文章 2024-06-09 来自：开发者社区

DataWorks产品使用合集之如何在DataWorks on EMR上创建Spark节点并指定DLF的catalog

问题一：DataWorks on emr 创建spark节点指定dlf的catalog？ DataWorks on emr 创建spark节点指定dlf的catalog？参考回答：您可以按照以下步骤操作： 1、启动 EMR 集群：首先，您需要启动一个 EMR 集群。在 AWS Management Console 中，选择 "EMR" -&...