最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
DCDN节点运维下线说明
节点流量调度：阿里云DCDN节点的运维操作有一套规范的处理流程，对于需要运维的节点，阿里云DCDN的调度系统会在下线节点之前把流量调度到周边正常运行的节点上。异常情况监测：阿里云DCDN节点也可能会因为一些少量的异常情况（例如：运营商...
基于AnalyticDB实现城市公交系统智能化
启迪公交基于 AnalyticDB MySQL版 和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务水平，助力“互联网+城市公交”的提升发展。业务挑战 启迪公交（北京）科技...
使用共享GPU调度（eGPU）
本文介绍如何在ACK灵骏托管版集群中的灵骏节点上使用共享GPU调度（eGPU），实现GPU的调度和隔离能力。索引 前提条件 步骤一：开启GPU共享调度能力 步骤二：使用GPU共享资源 步骤三：运行共享GPU示例 常见问题 前提条件 已创建ACK灵骏托管版...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
公共调度资源组计费说明：按量付费
当任务实例满足以下条件时，DataWorks会对其计费：被提交至调度系统：所有被提交至调度系统的节点所产生的各类型实例（虚拟节点产生的实例除外），均会纳入计费范围，包括周期实例、手动实例、测试实例和补数据实例。已运行成功：只有在 运...
任务运行诊断
常见的同步任务执行问题如下：数据同步日志长时间打印WAIT 若数据同步日志长时间打印WAIT，表示DataWorks的调度系统已将同步任务下发，由于当前任务所使用的同步资源组剩余资源无法支持当前任务执行，正在等待其他任务执行完成释放资源。...
任务管理
AliOS Things操作系统内核支持两种调度策略：基于优先级的抢占式调度 该调度策略下，每个任务优先级都维护了一个FIFO模式的就绪队列（ready queue），里面包含了当前所有可运行的任务列表，此列表中的任务都处于就绪状态，当处理器可用时，...
UpdateFile
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
调度参数配置最佳实践
系统调度参数 bizdate 是DataWorks上的系统调度参数，当参数赋值为=$bizdate 时，默认获取前一天的日期。参数定义 含义 日期格式 参考样例 variate=$bizdate 获取业务日期。yyyymmdd 场景：天任务在2022年11月22日的1点执行。赋值结果：...
CreateFile
每周二、周五的0点5分自动调度：00 05 00*2,5 由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
可运维性咨询服务内容说明
评估系统是否具备故障演练和逃逸能力，并基于阿里巴巴多年业务的真实线上故障库的积累，通过模拟调用延迟、服务不可用、机器资源满载等，真实检验应用的高可用能力，同时考察相关人员对问题的应急能力，以及问题上报、处理流程是否合理，...
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
GPU节点卡型属性标签
在使用Kubernetes集群...相关文档 安装云原生AI套件的调度组件ack-ai-installer之后，您可以为GPU节点打上调度属性标签，帮助GPU节点启用共享GPU调度、GPU拓扑感知调度等能力。详细信息，请参见 GPU节点调度属性标签说明及标签值的切换方法。
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业...准备暂停：当前待暂停的作业数，用户对指定作业触发暂停操作后，将等待调度系统执行暂停。准备停止：当前待停止的作业数，用户对指定作业触发终止操作后，将等待调度系统执行停止。
故障应急协同
将故障相关成员直接拉进处理群，相关成员包括故障受影响业务的“应急接口人”、可疑原因业务的“应急接口人”，并且系统自动电话通知。进群后的成员，可直接在群内签到。每个故障建议设置单独的故障处理群，群内成员均为故障的相关人，为...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
启用节点自动伸缩
当集群的容量规划无法满足应用Pod调度时，您可以使用 节点自动伸缩 方案实现节点的自动扩缩。节点自动伸缩 适用于扩容规模较小（例如开启弹性的节点池数量少于20，或对应节点池中的节点数量少于100），工作负载批次较为稳定，以单次伸缩为...
组件概述
组件类型 容器服务ACK管理的集群组件类型包括系统组件和可选组件：系统组件：创建ACK集群时，默认安装的组件。可选组件：创建ACK集群时，可选择性安装的组件，用于扩展集群功能。核心组件 组件名称 组件类型 描述 Kube API Server 系统组件...
DBS沙箱功能概览
DBS基于Copy Data Management（CDM）技术，推出面向MySQL和Oracle的完整沙箱解决方案。您可以在DBS沙箱功能中快速创建DBS沙箱实例（RDS应急实例），让您的备份数据快速可用，且在沙箱中的读写不会影响到源数据库，同时还可以进行恢复演练、...
共享GPU调度概述
节点选卡策略Binpack和Spread 在共享GPU调度中，如果节点存在多张GPU卡，从节点中挑选GPU卡分配给Pod时，有两种策略可以考虑：Binpack：默认策略，调度系统先分配完节点的一张GPU卡后，再分配节点上另一张GPU卡，避免节点出现GPU资源碎片。...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
运维中心概述
查看并管理周期任务 周期任务运维为您展示任务提交到调度系统后的调度任务列表与调度环境产生的 周期实例。周期任务面板展示当前所有的调度节点，您可以在周期任务面板修改周期调度任务使用的资源组、责任人等信息。DataWorks每晚会根据 ...
系统权限申请与使用说明
ACCESS_FINE_LOCATION 位置权限 获取精准地理位置，允许 App 基于通全球定位系统（GPS）或网络位置信息（例如基站和 WLAN）获取精准地理位置信息 QUERY_ALL_PACKAGES 应用列表 读取已安装应用列表及应用版本 方便您分享获取渠道信息等基于...
如何使用定时任务的灰度
通过label进行灰度调度 基于Label的路由策略，Worker向Server心跳汇报时，可以附加当前Worker的Label。每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的...
应用场景
阿里云公共DNS面向企业级用户，针对移动APP应用DNS查询防劫持场景、加速访问场景。终端APP防劫持 适用用户：所有遭遇访问劫持的用户。包括手机APP应用、智能音箱、智能...精准调度：基于IP的调度，递归+权威DNS共享一套地址库，调度更精准。
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
GetFile
NodeId Long 300001 提交文件后，在调度系统生成的调度任务ID。AdvancedSettings String {"queue":"default","SPARK_CONF":"-conf spark.driver.memory=2g"} 任务的高级配置。该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR ...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的实例。等待中 已触发...
- 产品推荐
- 这些文档可能帮助您