阿里云文档 2025-03-03

新版Data Studio任务发布

本文为您介绍如何通过发布流程将任务的新增、更新、删除操作发布至生产环境。

阿里云文档 2025-02-28

创建PyODPS 2节点任务

DataWorks提供了PyODPS 2节点类型,允许您使用PyODPS语法在DataWorks平台上开发PyODPS任务。PyODPS集成了MaxCompute的Python SDK,使您能够在PyODPS 2节点上直接编写和编辑Python代码来操作MaxCompute。

阿里云文档 2025-02-14

基于自建Hadoop集群进行自定义CDH镜像

本文为您介绍如何在DataWorks绑定自建 Hadoop 集群并进行任务开发,以及如何自定义自建集群运行环境。

阿里云文档 2025-02-12

查看任务运行历史记录

DataWorks的运行历史面板展示您最近三天在数据开发界面的任务执行记录。

文章 2025-01-18 来自:开发者社区

DataWorks任务如何现在执行最长时间?

为了防止任务执行时间太长,可以定义任务的超时时间,如下: 在PAI训练任务还可以设置 :提交pai -name 作业时通过增-DmaxTrainingTimeInHour参数,来设置job最大训练时长。

DataWorks任务如何现在执行最长时间?
文章 2025-01-03 来自:开发者社区

如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?

很多时候我们需要借助DataWorks的调度功能来执行一系列的结点。但是上游结点并不通过DataWorks来运行,这应该怎么办呢?我们基本想法是在创建一个空分区,然后通过DataWorks去检查这个分区。 1、在MaxCompute中增加一个表的空分区,并且在DataWorks中检查这个分区再运行的步骤如下: 增加空分区: 使...

如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?
阿里云文档 2024-12-04

优雅下线表和任务

对于数据治理过程中的无效任务或表,数据资产治理为您提供完整的下线方案,包含下线风险评估、下线通知推送、下线过程管理等全流程功能,为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等问题,同时提供批量下线功能,方便统一管理和执行,为您提升下线效率。

文章 2024-09-18 来自:开发者社区

dataworks节点任务

DataWorks(又称为大数据开发套件或DatalDE)是阿里云提供的一款用于数据集成、数据处理、数据分析等操作的一站式开发工具。在DataWorks中,用户可以创建数据处理流程,并通过“节点”来表示这些流程中的各个步骤或任务。每个节点通常代表一个具体的操作,比如数据抽取、转换、加载(ETL)、脚...

问答 2024-08-25 来自:开发者社区

DataWorks好几个任务报 :是咱阿里这边出啥问题了吗?

DataWorks好几个任务报 : java.io.IOException: PANGU_RPC_TIMEOUT (-150),是咱阿里这边出啥问题了吗?

问答 2024-08-25 来自:开发者社区

DataWorks这个任务发布任务流之后,这些节点都是灰色的,一直没有跑数,是什么问题?该怎么解决?

DataWorks这个任务发布任务流之后,这些节点都是灰色的,一直没有跑数,是什么问题?该怎么解决?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据开发治理平台 DataWorks更多任务相关

产品推荐

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

+关注