等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-02-29 功能名称 变更类型 功能描述 相关文档 Java版本SDK v1.11.1 修复 Netty、Logback等...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
如何使用“会话追踪方案”排查解析异常
为了获得更好的服务质量，服务节点调度系统（GSLB）可能会频繁地变更上述的线路调度配置，例如CDN系统，可能每几个小时就会调整一次调度配置。如果客户端获取到了错误的调度结果（即解析结果），可能会导致服务质量受损，也就是慢或超时，...
常见问题
本文汇总了使用E-HPC时的常见问题。集群相关 为什么某些地域无法创建E-HPC集群？如果您在E-HPC支持的地域和可用区下，不能创建E-HPC集群。可能是由于该地域不支持创建集群所需的相关资源，或者资源库存不足。例如：该地域不支持创建NAS文件...
Java SDK
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
使用Gang scheduling
例如，当您提交一个包含多个任务的批量Job时，可能会出现多个任务全部调度成功或者都调度失败的情况。这种All-or-Nothing调度场景，就被称作Gang scheduling。ACK将一组需要同时调度的Pod称为PodGroup。您在提交All-or-Nothing作业时，可以...
使用Gang scheduling
例如，当您提交一个包含多个任务的批量Job时，可能会出现多个任务全部调度成功或者都调度失败的情况。这种All-or-Nothing调度场景，就被称作Gang scheduling。ACK将一组需要同时调度的Pod称为PodGroup。您在提交All-or-Nothing作业时，可以...
创建无状态工作负载Deployment
您可以通过镜像、编排模板及命令行创建一个无状态应用。通过私有镜像创建应用时，您还可以通过容器服务控制台为私有镜像设置密钥，以确保镜像安全。本文以Nginx为例介绍如何通过镜像、编排模板以及命令创建无状态应用。前提条件 已创建...
通过向导模式配置离线同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
任务管理
任务管理就是为多任务环境中的每个任务分配一个上下文（context）（上下文（context）是指当任务被调度执行的所必不可少的一组数据，包括前任务的CPU指令地址（PC指针），当前任务的栈空间，当前任务的CPU寄存器状态等），在任务相继执行...
安装Elastic Workload
SourceTarget的副本上下限位2~4，表示当ElasticWorkload的replicas为2~4个副本时，会分配到sourceTarget，当超过4个副本时，会分配到弹性单元virtual-kubelet，而在弹性单元virtual-kubelet中可以定义这个单元所独有的调度策略，包含label...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
数据风险点监控
DQC以数据集（DataSet）为监控对象，当离线MaxCompute数据发生变化时，DQC会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。DQC还提供了历史校验结果的管理，方便数据质量的分析和定级。通过配置DQC的数据质量校验规则，可以...
离线同步数据质量排查
对于数据同步质量（数据条数、数据内容）有相关疑问，在写出端您可以尝试从下列常见情况对照排查：原因 问题描述 解决方案 写出模式选择导致 Writer插件会使用选择的写出模式将源头数据在目标端执行重放，如果源头数据和目标表结构出现数据...
附录：DAG图功能介绍
冻结的周期实例不自动调度运行（不会真实跑数据），并且会阻塞它的下游节点执行（下游节点都不会自动调度）。场景示例：如果您小时节点每小时调度一次，当天生成24个小时实例，如果其中一个小时实例不需要执行，您可以选择冻结该实例，冻结...
代码解析结果对比
若该节点代码中配置了依赖A表的数据，但未将产出A表数据的节点作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致当前节点产出的表数据出现问题。影响示例：本节点产出的表变更 当前节点提交时，与生产环境...
常见问题
问题描述 在ACK+Virtual Node的场景下，可能会出现Pod显示已经调度到virtual-kubelet节点，但是一直没有新的事件更新的现象。这种情况下，您需要获取对应的virtual-kubelet日志，根据报错信息进行问题排查。说明 如果有新的事件产生，您...
数据集成侧同步任务配置
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。后续步骤 完成任务配置后，您可以对已创建的任务进行管理、执行加减表操作，或对任务...
多可用区同时快速弹性扩容
但这种在一个伸缩组上配置多个可用区vSwtich的模型特点，会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能...
多可用区同时快速弹性扩容
但这种在一个伸缩组上配置多个可用区vSwtich的模型特点，会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
名词解释
Job instance 即任务实例，Job每次调度会产生一个JobInstance。Namespace 即命名空间，SchedulerX提供的资源隔离服务，不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境间的资源完全隔离，并可以使用一个账号进行统一管理。Task ...
调度依赖配置指引
默认节点的上下游产出表存在强依赖关系（即下游表数据的产出需要依赖上游产出的表数据），因此，任务在配置调度依赖时，需确认是否存在强血缘依赖，即确认当前任务是否会因为上游数据未产出而导致当前任务取数出现问题。若下游节点中表数据...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
详细信息 不建议小时调度的任务上游依赖天调度的任务，可能会出现每个小时跑的数据都一样的情况。对于这种情况，建议上游任务也是小时调度。或者上游任务中数据是定时更新的。比如逻辑表上游是管道任务，管道任务给逻辑表的来源主表中同步...
名词解释
Job instance 即任务实例，Job每次调度会产生一个JobInstance。Namespace 即命名空间，SchedulerX提供的资源隔离服务，不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境间的资源完全隔离，并可以使用一个账号进行统一管理。Task ...
名词解释
Job instance 即任务实例，Job每次调度会产生一个JobInstance。Namespace 即命名空间，SchedulerX提供的资源隔离服务，不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境之间的资源完全隔离，并可以使用一个账号进行统一管理。...
数据详情
若新的数据出现问题，可回滚旧版本索引。需注意的是，执行索引回滚后，表处于回滚锁定的状态，全量调度将停止，直到用户解除锁定状态 回滚锁定状态下的表，全量调度停止，用户修复问题后可自己选择分区来手动触发全量，验证问题修复情况
依赖关系
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。DataWorks上如何设置调度依赖？在DataWorks上，上游节点的输出作为下游节点的输入，形成节点依赖关系。说明 SQL任务会以如下方式自动配置节点输入输出：select ...
存储多可用区部署的推荐配置
以上这些问题，均会导致应用发布中断受阻，本文推荐一种存储多可用区部署的最佳配置，最大程度的减少上述问题。推荐配置 使用云盘进行持久化存储，相对于NAS更加稳定，数据传输带宽更好。集群内包含三个可用区，确保机器和存储资源满足需求...
历史记录
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
其他常见问题
单实例部署多个客户端，导致找不到连接 一个实例（ECS、虚拟机、Pod）不允许部署多个 AntScheduler 客户端，否则会出现连接互踢的问题。AntVIP 地址配置错误 问题现象 出现[AntVIPRouter]Get scheduler servers failed 报错。问题原因 ...
订阅常见问题
调度状态会按照设置的时间定时发送邮件，调度状态下会出现邮件发送成功或者失败的现象。邮件订阅发送失败，日志信息提示“has no valid receiver”。邮件发送对象未绑定邮箱。您需要登录 Quick BI控制台，在个人设置中绑定邮箱。
kube-scheduler
修复剩余IP感知调度中由于剩余IP计数错误导致可调度Pod变少的问题 v1.24.6-aliyun-6.3.548a9e59 2024年01月10日 自定义弹性资源优先级调度 调度修复了使用自定义弹性资源优先级调度时，ECI可用区亲和以及打散不生效的问题。CPU拓扑感知调度...
DCDN节点运维下线说明
对于这一类问题，阿里云DCDN产品的调度系统提供了对所有节点的探测监控，一旦发现节点异常下线，会实时把对应节点上的流量调度到周边正常运行的节点上。用户侧优化措施 虽然阿里云DCDN采取了多种措施来降低节点下线对用户的影响，但是由于...
E-HPC集群调度器插件
当您的业务需要迁移到云上时，往往需要将云下的调度器集成至云上，但因HPC行业调度器众多，且不同调度器有多种定制版本，会出现E-HPC内置调度器无法满足的情况。因此，E-HPC提供了调度器插件作为平台的外扩组件，您可以使用E-HPC提供的调度...
配置DDoS高防（非中国内地）加速线路
建议您在修改DNS解析前，先通过修改本地计算机的 hosts 文件配置，验证流量调度规则，避免因回源策略不一致出现不兼容问题。关于验证流量调度规则的操作，请参见 本地验证转发配置生效。关于修改域名DNS解析的操作，请参见 修改CNAME解析接...
- 产品推荐
- 这些文档可能帮助您