阿里云文档 2024-12-11

使用DataWorks开发调度AnalyticDB Spark作业

DataWorks提供全链路大数据开发治理能力,支持包括AnalyticDB在内的多种计算引擎。DataWorks数据开发(DataStudio)模块支持工作流可视化开发和托管调度运维,能够按照时间和依赖关系轻松实现任务的全面托管调度。您可以在DataWorks中通过ADB Spark SQL和ADB Spark节点开发和调度Spark作业(Spark SQL作业和Spark应用作业)。

阿里云文档 2024-11-13

使用分支节点实现同天两种调度频率执行单个任务

分支节点是DataStudio中提供的逻辑控制系列节点之一。本文将为您介绍通过DataStudio中提供的分支节点(逻辑控制系列节点之一),实现单个任务在业务量处于较高水平时报表任务延迟产出;业务量较低时,报表即时产出的业务需求。

阿里云文档 2024-09-06

DataWorks调度Spark

DataWorks是基于MaxCompute作为计算和存储引擎的海量数据离线加工分析平台,用于工作流可视化开发和托管调度运维,支持按照时间和依赖关系的任务全面托管调度。您可以在DataWorks中,通过Shell节点或自定义节点调度和管理云原生数据仓库 AnalyticDB MySQL 版的Spark作业。

文章 2024-08-19 来自:开发者社区

DataWorks产品使用合集之怎么配置跨业务流程的调度依赖

问题一:DataWorks这个是他的下游任务,能看到读取分区的数据是0怎么办? DataWorks这个是他的下游任务,能看到读取分区的数据是0? 参考回答: 现在查询这个的截图辛苦发一下呢 ,下游读...

DataWorks产品使用合集之怎么配置跨业务流程的调度依赖
文章 2024-08-19 来自:开发者社区

DataWorks产品使用合集之如何配置指定日期进行调度任务

问题一:DataWorks这次又出现问题了但是我怀疑不是公网波动导致的影响怎么办? "DataWorks这次又出现问题了 但是我怀疑不是公网波动导致的影响 我们从多个不同的数据源进行了数据抽取,发现网络速度都下降了不少,怀疑是同步写入的时候速度慢导致" 参考回答: 内网会相对公网稳定一点,目前任务并发数也只配置了1 ;还是建议走内网 并...

DataWorks产品使用合集之如何配置指定日期进行调度任务
文章 2024-07-17 来自:开发者社区

DataWorks产品使用合集之在配置独享调度资源组的环境变量时,如何通过环境变量的方式进行配置

问题一:dataworks怎么读,主要是ak和sk,不知道怎么配到独享调度资源组的环境变量去? dataworks怎么读,主要是ak和sk,不知道怎么配到独享调度资源组的环境变量去?显示写在代码中不太安全 参考回答: 目前确实不行 看到过有同学会先放到一个file文件里 读取文件中的配置 但也不是完全安全的, 未来预期会支持类似脱敏类型的空间级参数 ...

文章 2024-07-17 来自:开发者社区

DataWorks产品使用合集之如何配置数据过滤规则以确保在同一时间调度执行的数据抽取或同步任务处理的是同一时间范围的数据

问题一:datawork 中这个界面的搜索框咋没了? datawork 中这个界面的搜索框咋没了? 换了个位置,放在左边了 ...

DataWorks产品使用合集之如何配置数据过滤规则以确保在同一时间调度执行的数据抽取或同步任务处理的是同一时间范围的数据
文章 2024-07-17 来自:开发者社区

DataWorks产品使用合集之要获取OSS文件大小并配置成调度任务,该如何操作

问题一:DataWorks一个项目可以创建多少个任务? DataWorks一个项目可以创建多少个任务? 参考回答: DataWorks中一个项目可以创建的任务数量没有明确的限制,但实际可创建的任务数会受到项目所在工作空间的支持能力、计算资源以及调度资源组的限制。具体如下: 工作空间支持:DataWorks的工作空间可以包含多个业务流...

DataWorks产品使用合集之要获取OSS文件大小并配置成调度任务,该如何操作
文章 2024-06-30 来自:开发者社区

DataWorks产品使用合集之如何配置周期任务(如工作流任务或调度任务)依赖于数据质量规则校验结果

问题一:dataworks数据集成不支持xlsx的格式,可以将xlsx的格式转化成csv的函数吗? dataworks数据集成不支持xlsx的格式,可以将xlsx的格式转化成csv的函数吗? 参考回答: DataWorks数据集成可能原生不直接支持xlsx格式作为数据源或目标。在这种情况下,您需要先将xlsx文件转换为DataWorks支持的格式,如CSV。通常...

文章 2024-06-30 来自:开发者社区

DataWorks产品使用合集之如何确保正确配置调度依赖

问题一:DataWorks是因为我的上游是手动配置的本节点输出名和输出表名的原因吗 ? DataWorks是因为我的上游是手动配置的本节点输出名和输出表名的原因吗 ? 参考回答: 在DataWorks中,如果您的上游节点是手动配置的本节点输出,并且出现错误提示如“当前节点依赖的父节点输出名不存在”,这可能是因为在配置调度依赖时,您手动指定的上游节点输出名称与上游...

DataWorks产品使用合集之如何确保正确配置调度依赖

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据开发治理平台 DataWorks调度相关内容

大数据开发治理平台 DataWorks更多调度相关

产品推荐

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

+关注