HTTP触发器节点
和 其他调度系统的触发配置。HTTP触发器节点有上游任务节点 此种场景下：您需要创建HTTP触发节点后，在其他调度系统配置好调度触发，并在DataWorks上配置好各节点的调度和上下游依赖关系，详情可参见 创建HTTP触发器节点 和 其他调度系统的...
基本概念
本文为您介绍DataWorks中，工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
补数据任务概述
调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于调度策略和时间点固定，且需要定期进行补数据的场景。更多信息，请...
补数据任务概述
调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于调度策略和时间点固定，且需要定期进行补数据的场景。更多信息，请...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
和开源产品对比
有开源产品同样可以实现分布式任务调度，本文介绍SchedulerX和开源产品的对比，帮助您更好的了解分布式任务调度和SchedulerX。产品名称 定时调度 工作流 分布式任务 白屏化任务治理 任务类型 报警监控 使用成本 Quartz Cron 不支持 不支持 ...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
巡检任务
巡检任务是巡检规则的聚合载体，并且提供修改规则的执行范围以及调度方式的功能。您可通过巡检任务模块对巡检任务进行统一的管理操作，包括新建、编辑、复制、删除、执行、调度任务等。新建任务 登录高可用管理控制台。在左侧导航栏上，...
如何使用定时任务的灰度
方案二：一个任务通过自动调度和手动调度来进行灰度 如果您希望在灰度发布时，将定时任务在灰度机器上 运行一次 进行验证，则不用复制任务。您可继续使用之前的任务，在SchedulerX控制台手动 运行一次 指定Label。您也可以使用Jenkins等...
概念原理
本文介绍任务调度的概念原理。任务分步 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如，“对账”任务的处理步骤是：下载银行的清算文件>根据约定格式...
共享GPU调度概述
关闭对应用的GPU隔离能力 配置共享GPU调度cGPU算力调度策略 更改共享GPU调度显存最小分配单位 相关概念 共享GPU调度 vs 独占GPU调度 共享GPU调度指的是多个Pod共同使用一张GPU卡，如下图：独占GPU调度指的是一个Pod完整占用一张卡或多张卡...
管理工作流
工作流是指由一系列相关任务组成的有序流程，每个任务之间有明确的依赖关系和执行顺序。如果您需要安排任务在指定的时间运行，可以创建工作流并在工作流中定义调度节点以及调度策略。本文为您介绍如何创建和运行工作流。前提条件 已创建...
功能特性
设置集群超配降低成本 资源灵活调度 紧凑型资源调度 MyBase支持紧凑型资源调度和均衡型资源调度两种资源调度策略。紧凑型资源调度策略可以最大化追求更充分的资源利用率，优先从创建时间较早且已分配资源较多的主机中分配资源。资源调度 ...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
多终端节点组流量调配原理及应用场景
全球加速支持为单个TCP和UDP协议的监听配置多个不同地域的终端节点组。您可以为终端节点组设置流量调配值，灵活控制转发到各终端节点组的访问流量比例，同时，您还可以为终端节点组开启健康检查，剔除异常的终端节点组。多终端节点组流量...
基础监控
资源混部比例 分为CPU和内存两个资源维度，资源混部比例展示了集群当前可供应用非混部调度的资源量和可供应用混部调度的资源量。集群中的空闲物理资源越多，混部资源的比例越高，表示有更多资源可供混部调度。集群混部资源详情 集群资源...
创建全域数据表质量规则
质量规则试跑和运行区别 试跑和运行的区别在于执行的方式和显示的结果，试跑 指对某个质量规则进行一次模拟执行，以检测规则的正确性和运行情况，试跑的结果不会在质量报告中显示；运行 指在特定的时间内对质量规则进行检查，运行的结果会...
创建全域数据表质量规则
质量规则试跑和运行区别 试跑和运行的区别在于执行的方式和显示的结果，试跑 指对某个质量规则进行一次模拟执行，以检测规则的正确性和运行情况，试跑的结果不会在质量报告中显示；运行 指在特定的时间内对质量规则进行检查，运行的结果会...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
Dataphin的重跑并恢复调度和强制重跑的区别
概述 Dataphin的重跑并恢复调度和强制重跑的区别。详细信息 重跑并恢复调度就是重跑，有条件限制的，如果有上游的话，就必须满足上游成功状态和到达定时时间，才可以运行重跑。但是强制重跑运用范围更广，不需要看上游这个运行状态，可以...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
预测式外呼
调度算法会综合考虑当前坐席的在线数量、空闲情况、外呼号码的呼叫频率限制、电话接通率、通话等待时长、通话时长、话后处理时长等因素，并考虑呼损（客户接通后等待坐席服务过程中挂机）的情况下，通过自动尝试、自动调整、自动学习来控制...
创建实时元表规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建实时元表规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
异构计算集群概述
阿里云容器服务ACK支持对各种异构计算资源进行统一调度和运维管理，能够显著提高异构计算集群资源的使用效率。本文介绍阿里云容器服务ACK支持的异构计算集群。背景信息 随着5G、人工智能、HPC（High Performance Computing）、边缘计算等...
Quick BI v4.3版本说明
支持多种调度方式，包括手动调度，周期调度和动态参数调度。支持任务发布状态管理和运维管理。移动端 移动端图表展示支持栅格布局，一行可放置多个图表。支持布局缩放来调整单个组件尺寸和位置。支持布局个性化隐藏Tab内的单个图表。可视化...
自建Kubernetes集群对接ECI
ECI能为Kubernetes提供基础的容器Pod运行环境，但业务间的依赖、负载均衡、弹性伸缩、定期调度等能力依然需要Kubernetes来提供。本文为您介绍自建Kubernetes集群如何与ECI对接，以及如何使用ECI。对接方式 ECI为Kubernetes提供一种层次化的...
工作原理
调度和执行场景 一个作业可生成一个或多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下表所示。场景 说明 场景一：从当前时间开始执行时序...
创建CDH Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建安全沙箱应用
调度设置 您可设置升级方式、节点亲和性、应用亲和性、应用反亲和性和调度容忍，详情请参见 Affinity and anti-affinity。说明 亲和性调度依赖节点标签和Pod标签。您可使用内置的标签进行调度；也可预先为节点、Pod配置相关的标签。配置项 ...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
- 产品推荐
- 这些文档可能帮助您