分布式任务调度 SchedulerX

分布式任务调度 SchedulerX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台。您可以使用 SchedulerX 2.0 编排定时任务、工作流任务、进行分布式任务调度。

任务管理

您可以在任务管理页面对调度任务进行一些列操作,包括创建、编辑、执行、复制、启禁用和删除,还可以重刷调度任务数据。创建调度任务 注意 创建任务前,请确保您已经创建了任务分组。详情请参见创建应用。登录分布式任务调度平台。在顶部...

Second delay

Second delay即秒级别调度,适用于对实时性要求比较...查看秒级别任务的统计信息 Second delay任务创建完成后,在任务实例详情页面会多一个秒级任务统计详情页签,展示如下信息:当天任务实例运行结果 昨天任务实例运行结果 最近10次运行结果

价格说明

计费维度 SchedulerX根据任务调度总量计算费用,单个SchedulerX应用的计费公式如下:单Schedulerx应用的任务调度总量(CU)=启用的单机任务数+启用的非单机任务数*该应用接入的Worker数任务调度总量为您所有应用的任务调度总量之和,且和...

产品功能

再通过任务优先级,可以实现类似于yarn的任务优先级队列,超过并发数的任务在队列中等待,高优先级任务会抢占低优先级任务优先调度。很多场景下都有应用级别资源控制和任务优先级的需求。例如数据平台每天要收集报表,可能会有成千上万的...

如何管理应用级别的资源和任务优先级

本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统(例如Mesos和Yarn),能够实现CPU和内存级别的资源管控,而您使用自己的Worker通过客户端接入SchedulerX,所以SchedulerX作为通用的任务调度平台,无法...

脚本任务

您可以在创建任务时直接编写Shell、Python和Go脚本以便创建脚本任务。接入方式 脚本任务支持两种接入方式:嵌在应用进程中 安装schedulerx2-agent 创建方式 脚本任务在创建调度任务时编写脚本即可,详情请参见创建调度任务。编写脚本的方式...

如何创建秒级调度任务

本文将以一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型,适用于简单Java任务、分布式Java任务和脚本任务,以及各种执行方式。由于秒级调度属于定时调度,所以在定时配置步骤中请将时间类型设置为second_delay...

任务组管理

企业成员在创建流水线的过程中,对流水线任务节点进行编排时,可以选择任务组。...任务组管理 中管理 Flow 提供的任务组 和 用户创建的企业任务组任务组可关闭,关闭后企业成员在编排流水线时,将无法继续使用该任务组

服务端版本说明

支持应用级别报警联系人。问题修复 修复修改GroupID,历史执行记录会误降级为10条的问题。修复客户端实例数很多的时候,子任务详情机器列表无法分页的问题。修复任务管理查看历史记录无数据的问题。2020-09-30 新特性 公网Region支持POP ...

API概览

分布式任务调度SchedulerX2.0提供以下API接口。API列表 API 描述 CreateAppGroup 调用CreateAppGroup创建应用分组。CreateJob 调用CreateJob创建任务。GetJobInfo 调用GetJobInfo获取指定Jobid任务详情,通常用来更新任务。UpdateJob 调用...

执行列表

您可以通过执行列表查看当天任务执行情况,分为任务实例列表和流程实例列表。查看执行列表 说明 每个任务/工作流默认保存最近60条记录。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击执行列表。在执行列表页面的所属...

任务组批量升级

过支持任务组升级功能,可以帮助企业用户对流水线进行统一修改和升级。配置任务组批量升级通过企业设置->任务组管理->新建企业任务组,在创建新建任务组时,选择开启"支持批量升级。流水线使用任务组在配置流水线过程中,选择已经...

工作流调度

通过可视化的工作流进行任务编排,支持Cron表达式和API。背景信息 工作流中的Job没有独立调度时间,跟随工作流的时间开始调度。支持上下游数据传输,请参见如何通过工作流进行上下游数据传递。工作流调度至少要有2个Job,且有依赖关系。...

流程管理

流程管理提供可视化的任务编排,您可以使用Crontab创建定时调度工作流,并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击流程...

客户端版本说明

1.2.9,2021-08-27 新特性 单机秒级别循环支持在不同Worker间分发切换执行,SpringBoot配置参数如下:spring.schedulerx2.enableSecondDelayStandaloneDispatch=true(默认false)问题修复 修复广播任务在并发情况下出现执行中断的问题 修复...

任务管理高级配置参数说明

本文介绍任务管理中的高级配置参数。任务管理高级配置参数说明如下:参数 适用的执行模式 解释 默认值 实例失败重试次数 通用 任务运行失败自动重试的次数。0 实例失败重试间隔 通用 每次失败重试的间隔。单位:秒。30 实例并发数 通用 同...

如何使单应用支持十万以上的定时任务

在SchedulerX中创建的应用默认最多只支持1,000个任务,而在某些场景下1,000个任务远远满足不了业务需求。另外,实际业务场景中,不同定时任务的调度时间可能不一样。本文介绍如何通过一系列配置,使单应用能够支持上万,甚至十万以上的定时...

从分布式任务调度1.0迁移到2.0

自2019年6月30日起,分布式任务调度SchedulerX 1.0(DTS)不再提供运维服务,提供服务的ECS实例也会裁撤,待所有用户下线后会完全下线,后续任务调度服务将由SchedulerX 2.0提供。本文介绍如何从SchedulerX 1.0迁移到SchedulerX 2.0。迁移...

HTTP任务(Serverless)

}可以获取的任务基本信息如下:CommonConstants常量 key value描述 JOB_ID_HEADER schedulerx-jobId 任务ID JOB_NAME_HEADER schedulerx-jobName 任务名,需要引文,因为header不支持中文。SCHEDULE_TIMESTAMP_HEADER schedulerx-...

Fixed rate

本文仅介绍在创建调度任务如何配置Fixed rate定时调度。进入定时配置页签,详情请参见创建调度任务。在创建任务配置向导的定时配置页签中设置定时调度参数,然后单击下一步。在时间类型右侧的列表中选择fixed_rate。在固定频率右侧输入...

创建资源

在使用SchedulerX前,您需要先创建相关资源,包括命名空间、调度任务分组、调度任务和调度工作流。背景信息 资源 说明 使用场景 命名空间 在具体地域(Region)中,命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时,需要...

UpdateJob

调用UpdateJob更新任务配置信息。默认先调用获取任务找到对应字段进行修改。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 UpdateJob 系统规定参数。取值:UpdateJob。ExecuteMode String 是 standalone 任务执行模式,目前...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

多语言版本分片模型

SchedulerX可以对多重任务进行调度(定时、编排、重刷历史数据等),提供Java、Python、Shell和Go等多语言分片模型,帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片:主要场景是处理固定的分片数,例如...

如何设置数据时间

SchedulerX可以处理有数据状态的任务,您可以通过数据时间处理非任务执行时间的数据。操作步骤 例如一个任务在每天00:30运行,但是实际上要处理前一天的数据,即数据时间需要在任务时间的基础上,向前偏移一小时。在客户端中接入SchedulerX...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

JobContext参数说明

参数 解释 long jobId 任务ID long jobInstanceId 任务实例ID long wfInstanceId 工作流实例ID long taskId 分布式任务任务ID,根任务是0。DateTime scheduleTime 实例的计划调度时间 DateTime dataTime 实例的数据时间 String jobType ...

MapReduce模型

前端kill任务会触发该方法,需要用户自己实现如何中断业务。否 执行方式 并行计算:最多支持300任务,有子任务列表。注意 秒级别任务不要选择并行计算。内存网格:基于内存计算,最多支持50,000以下子任务,速度快。网格计算:基于文件计算...

Map模型

前端kill任务会触发该方法,需要用户自己实现如何中断业务。否 public ProcessResult map(List<extends Object>taskList,String taskName)执行map方法可以把一批子任务分布式到多台机器上执行,可以map多次。如果taskList是空,返回...

Java任务

Java调度任务可以在您的应用进程中执行,也可以通过上传JAR包来动态加载。执行模式 Java任务类型支持单机、广播、并行计算、内存网格、网格计算和分片运行6种执行模式:单机:在同一个groupId下的机器随机挑一台执行。广播:同一个groupId...

应用管理

您可以通过应用管理页面创建应用(任务分组)、测试该应用的连接机器、为RAM用户进行分组授权等操作,如果不需要该应用,还可以删除应用。创建应用 在创建调度任务前,您需要先创建应用。登录分布式任务调度平台。在顶部菜单栏选择地域。在...

名词解释

Job 即任务,Job是SchedulerX中调度的最小单位。Job instance 即任务实例,Job每次调度会产生一个JobInstance。Namespace 即命名空间,SchedulerX提供的资源隔离服务,不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境间的资源...

ExecuteJob

调用ExecuteJob触发一次任务。API类型任务触发需要调用方法,非API类型也可以调用。说明 因为jobid+scheduleTime是唯一索引,所以同一个任务连续调用ExecuteJob接口的时候,每次要sleep一秒,不然有可能会失败。请求参数 名称 类型 是否必...

事件

更正文档 贡献说明概述事件是AliOS Things内核提供的一种任务间通信方式,它不同于信号量和互斥量,可以使用事件实现一个任务同时等待多个事件的发生,或者等待同一个事件的任务在事件发生时解除阻塞状态。事件是一个32位的数,每一位...

Agent接入(调度任务

如果您无需为应用接入调度任务,仅想创建一个独立的脚本调度任务,也可以使用SchedulerX提供的Agent快速创建脚本任务。前提条件 创建命名空间(可选)创建应用 背景信息 脚本任务目前支持Shell、Python和Go三种语言。运行环境要求为JRE 1.8...

开通SchedulerX

背景信息 阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。操作步骤 登录分布式任务调度平台。首次...

如何通过工作流进行上下游数据传递

本文将以3个调度任务为例介绍如何通过工作流进行上下游任务间的数据传递。背景信息 当前只有简单Java任务支持数据传递,分布式Java任务请使用MapReduce模型进行数据传递,详情请参见MapReduce模型。操作步骤 在三个应用中分别实现任务调度...

CreateJob

调用CreateJob创建任务。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateJob 系统规定参数。取值:CreateJob。ExecuteMode String 是 standalone 任务执行模式,目前支持以下几种任务执行模式:单机运行:standalone ...

等待资源

说明 无论是任务调度的调度资源,数据集成任务执行资源,还是odps任务执行资源,对于资源下可用资源是有限的,如果有任务长时间执行未释放资源必定会阻塞其他任务执行。为什么任务一直在等待gateway调度资源?出现原因:当前资源里的...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折