历史数据清理
重启调度 说明 关闭工单后，若需要重启调度只能重新提工单。修改工单责任人 工单责任人默认是工单提交者。定时调度的暂停、重启，只有工单责任人有权限执行，每次调度执行的邮件通知，也只会发给责任人。定时任务生成后，系统将会按照设置...
设置调度器参数
如果没有其他操作触发调度（例如提交作业、重启调度服务），则时隔调度周期触发一次调度。最大作业数 最大允许的作业数。最大排队作业数 最大允许的排队作业数。调度器队列参数配置 队列 选择要设置的队列。队列资源限制 单击 新增限制。...
更改共享GPU调度显存最小分配单位
若集群创建时间早于2021年10月20日，需要 提交工单 让售后同学重启调度器，配置才能生效。更改显存单位 未安装ack-ai-installer 登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在左侧导航栏，...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
健康检查及自动恢复
一旦检测到节点异常（往往是内存超限、进程异常退出等异常场景）将会进入自动恢复过程，master会通过检查每个work节点资源限制情况来动态调度恢复的目标，可能出现2种调度场景：1）在原work节点重启 2）跨work节点重启。注：由于这种健康...
Quick BI v4.3版本说明
支持多种调度方式，包括手动调度，周期调度和动态参数调度。支持任务发布状态管理和运维管理。移动端 移动端图表展示支持栅格布局，一行可放置多个图表。支持布局缩放来调整单个组件尺寸和位置。支持布局个性化隐藏Tab内的单个图表。可视化...
负载均衡调度算法介绍
动态负载调度：当服务器的连接数和负载情况经常发生变化时，可以通过实时监控连接数并进行动态调整，实现动态的负载均衡。高稳定性要求：对于需要实时响应和高稳定性的应用场景，通过加权最小连接数算法可以降低服务器的负载，提高系统的...
应用场景
接驳优化推荐：动态公交调度、公交线网优化、公交排班优化、地铁运营与检修排班。MaaS出行服务：个性化联程方式出行规划、一码通乘服务、出行核验、用户运营管理。案例说明 场景：某城市希望提升公共交通在城市级大型赛会活动时的服务水平...
数据开发：开发者
说明 代码开发过程中，若需使用变量动态替换调度场景下的参数，可在代码中使用${自定义变量名} 方式先定义变量，并在步骤五配置调度属性时为该变量赋值。调度参数的使用，详情请参见 调度参数支持的格式。不同类型节点任务的开发语法，详情...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-02-29 功能名称 变更类型 功能描述 相关文档 Java版本SDK v1.11.1 修复 Netty、Logback等...
配置共享GPU调度cGPU算力调度策略
在 调度 区域，选中 调度组件（批量任务调度、GPU共享、GPU拓扑感知、NPU调度），然后单击右侧的 高级配置。在 参数配置 页面，修改 policy 字段，然后单击 确定。policy 取值说明如下。关于时间片及调度策略的更多信息，请参见 cGPU服务算...
场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
调度概述
容器L3 Cache及内存带宽隔离 容器资源参数动态修改 在不重启Pod的情况下，动态修改Pod的CPU、内存等资源。在保障业务稳定的前提下，提高资源利用率。动态修改Pod资源参数 多NUMA机型的容器内存就近访问加速 ack-koordinator以数据安全的...
集群任务限流
动态限流 动态限流通过任务调度控制台调整限流速率，不管是否提供限流器，动态限流都可以正常工作。如果没有指定限流器，任务调度客户端使用默认的 DefaultLimiter 限流器。配置方式有以下两种：全局生效 在配置或编辑任务调度时配置的限流...
接入 Android
业务方可以使用 mPaaS 的开关配置动态控制移动调度中心和 IPv6 的开关。开启移动调度中心开关，RPC 使用移动调度中心配置；关闭移动调度中心开关，RPC 不使用移动调度中心配置。开关默认开启。MPRpc.openMGDC(isOpen);关闭 IPv6 开关，RPC ...
产品架构
ZooKeeper(Global和Local)：服务活动情况汇报给调度服务，动态配置更新。Nginx Proxy：支持私有协议的Nginx代理服务，针对不同文件一致性Hash到不同的Channel服务。Channel服务：记录文件和拥有文件的端点地址信息，为下载提供就近的端点...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
容器网络FAQ
早于2022年10月创建的集群节点可能未默认启用所有IPVS调度算法，您需要手动在所有集群节点上启用IPVS调度算法内核模块（以最小连接数调度算法lc为例，如果选用其他算法，请替换lc关键字），逐台登录每个节点，并运行 lsmod|grep ip_vs_lc ...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
通过向导模式配置离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。不同插件增量同步配置与实现方式不同，关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 在数据过滤和目标表...
常见问题
详细操作，请参见 动态启动计算集群运行工作流调度。如何确定更新的DAG已生效？无论是上传或者修改DAG后，都需要等待一段时间才能生效。每隔一段时间Airflow会扫描并更新DAG。您可以通过以下操作查看：在Airflow的 DAGs 页面，单击目标DAG...
创建安全沙箱应用
参数 请求类型 配置说明 存活检查（Liveness）：用于检测何时重启容器。就绪检查（Readiness）：确定容器是否已经就绪，且可以接受流量。启动探测（Startup Probes）：用于检测何时启动容器。说明 仅Kubernetes集群1.18及之后版本支持启动...
YARN资源配置
从EMR-3.49.0及之后版本，EMR-5.15.0及之后版本开始，EMR会根据集群初始化的机型和服务选择情况，在创建集群过程中动态调整组件的默认内存设置，而不是使用之前版本中的默认配置。本文为您介绍YARN组件堆内存大小配置以及YARN资源配置的...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
基本概念
sudo权限组：适用于需要管理集群的管理员，除提交、调试作业外，还可以执行sudo命令进行安装软件、重启节点等操作。作业 作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。调度器 调度器指集群上调度作业...
云盘存储卷FAQ
类型 问题 云盘创建 动态创建PV失败且提示InvalidDataDiskCatagory.NotSupported 动态创建PV失败且提示The specified AZone inventory is insufficient 动态创建PV失败且提示disk size is not supported 动态创建PV失败且提示waiting for ...
配置eci-profile
eci-profile可以实现以下三个功能：ECI Scheduler 在混合使用ECI和普通节点的场景下，一般可以通过配置Pod Label、配置Namespace Label和配置ECI弹性调度等方式将Pod调度到ECI，但这些方式均需要对存量资源做一定的修改，无法做到零侵入。...
配置eci-profile
eci-profile可以实现以下三个功能：ECI Scheduler 在混合使用ECI和普通节点的场景下，一般可以通过配置Pod Label、配置Namespace Label和配置ECI弹性调度等方式将Pod调度到ECI，但这些方式均需要对存量资源做一定的修改，无法做到零侵入。...
配置eci-profile
eci-profile可以实现以下三个功能：ECI Scheduler 在混合使用ECI和普通节点的场景下，一般可以通过配置Pod Label、配置Namespace Label和配置ECI弹性调度等方式将Pod调度到ECI，但这些方式均需要对存量资源做一定的修改，无法做到零侵入。...
使用插件部署混合云集群
本文介绍如何使用E-HPC插件部署混合云集群，该集群由本地调度器、本地域控和云上计算节点等组成。背景信息 混合云集群是E-HPC提供的一套用于云上计算资源和本地服务之间互通的集群结构，通常由本地调度器、本地域控、云上计算节点、共享...
基本概念
SAE 提供以下应用健康检查方式：通过应用存活探针（Liveness）检查应用实例是否存活，如果检查结果是非存活状态，则 SAE 会执行应用实例重启操作。通过应用业务探针（Readiness）检查应用业务是否就绪、是否准备好处理用户请求，如果未准备...
存储基础知识
数据卷（Volume）因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
- 产品推荐
- 这些文档可能帮助您