阿里云文档 2026-01-12

调用SubmitFile接口提交文件并生成任务-大数据开发治理平台 DataWorks-阿里云

提交文件至调度系统的开发环境,生成对应的任务。

阿里云文档 2025-12-29

新版数据开发中复杂依赖场景调度配置原则与示例

DataWorks支持分钟、小时、日、周、月、年等类型的调度任务互相依赖,调度类型不同,任务执行的周期数不同。任务各周期是通过实例的方式执行,当上下游调度依赖的类型不同时,您可通过该文档了解上下游各周期实例如何挂载依赖,即上下游任务不同周期实例的依赖情况。

阿里云文档 2025-02-25

Node Labels调度实践

Node Labels是YARN提供的节点分区功能,使得YARN在调度时能够在物理层面上对不同类型的作业进行有效隔离。本文为您介绍如何根据您的业务类型和节点类型创建相应的Node Labels。

文章 2022-02-17 来自:开发者社区

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 ODPS,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随着阿里经济体和阿里云业务需求(尤其是双十一)的不断丰富,伏羲的内涵也不断扩大,从单一的资源调度器(对标开源系统的YARN)扩展成大数据的核心调度服务,覆盖数据调度(Data Placem....

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一
文章 2021-12-31 来自:开发者社区

给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度

作者 | 冯亦挥引言基于 K8s 的统一调度是阿里集团的核心项目,随着2021年双十一落下帷幕,这个历时一年多,汇集了蚂蚁、电商、搜索、计算平台等几大调度团队的联合项目在生产场景得到了终极验证。作为统一调度项目的核心团队,伏羲成功地将 MaxCompute 弹内几万台机器、数百万核计算资源接入了统一调度系统,全程对业务和用户完全无感,无一故障,无一破线,完美实现了“飞行中更换引擎”的目标。统一调....

给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute调度相关内容

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注