文章 2025-03-13 来自:开发者社区

Dataphin功能Tips系列(40)-发布顺序中的必选依赖、可选依赖

一、场景 小明有一个A任务依赖于另一个同事开发的B任务,小明发布A任务的时候不知道B任务有没有发布,每次都需要手动确认上游任务是否已发布,这样依赖层级很多的话就会很麻烦,可以优化一下吗? 之前的任务发布时是单个任务发布,只会在发布的那一刻校验依赖关系,如果依赖的上游任务没有发布就会报错,那么可以在发布之前就根据任务的依赖关系并形成正确的发布顺序,简化发布流程吗? 二、解决...

Dataphin功能Tips系列(40)-发布顺序中的必选依赖、可选依赖
阿里云文档 2024-11-28

如何配置管道调度依赖

Dataphin通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。

阿里云文档 2024-04-16

如何配置流批一体任务的离线模式依赖关系

Dataphin通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息调度依赖就是节点间的上下游依赖关系,在Dataphin中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。配置调度依赖后,...

阿里云文档 2024-04-16

如何配置任务离线模式的依赖文件

若您的实时任务的离线模式运行需要依赖外部资源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上传对应资源文件后,将所上传的资源文件添加到任务的依赖文件,使任务能够正常运行。本文将为您介绍如何配置任务离线模式的依赖文件。

阿里云文档 2024-04-16

如何配置实时模式的依赖关系

配置实时任务的依赖关系,可帮助您排查调试时快速了解数据的上下游任务。本文将为您介绍如何配置实时模式的依赖关系。

阿里云文档 2024-04-16

如何配置任务实时模式的依赖文件

若您的实时任务运行需要依赖外部资源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上传对应资源文件后,将所上传的资源文件添加到任务的依赖文件,使任务能够正常运行。本文将为您介绍如何配置任务实时模式的依赖文件。

文章 2024-03-20 来自:开发者社区

有了 Dataphin v4.0,跨系统调度依赖再也不是难题

在企业的数据处理流程中,可能会有以下这样的场景: 存在多个不同的数据平台,比如使用 Dataphin 作为核心的数据仓库处理平台,另外有一个上游数据采集系统,使用 unix 的 crontab 定时调度。采集系统每天完成某个数据的采集完成时间,会由于上游数据量的原因而不稳定。当采集完成时,需要有一种手段可以告知 Dataphin,以便于 Dataphin 的集成系统开始拉取数据。 ...

有了 Dataphin v4.0,跨系统调度依赖再也不是难题
问答 2024-01-24 来自:开发者社区

Dataphin中,果依赖的上游任务手工跑了,下游任务会自动调起来吗?

Dataphin中,如果依赖的上游任务手工跑了,下游任务会自动调起来吗?

问答 2024-01-04 来自:开发者社区

Dataphin提交是指什么?这个任务没有依赖,应该今天3:01执行?

Dataphin提交是指什么?这个任务没有依赖,应该今天3:01执行

文章 2023-09-07 来自:开发者社区

Dataphin依赖周期和依赖策略详解

Dataphin v3.12 版本对任务节点的上游依赖做了升级改造,v3.11 及之前版本的上游依赖逻辑参见 Dataphin小时调度依赖关系及运行说明。本文将详细说明 v3.12 版本的上游依赖规则。Dataphin 调度系统基础知识在进入具体的依赖规则说明之前,需要先解释说明一下 Dataphin 调度系统的一些基础背景知识。任务与实例在 Dataphin 的使用过程中,经常会遇到“任务”或....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。