分布式任务调度 SchedulerX

分布式任务调度 SchedulerX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台。您可以使用 SchedulerX 2.0 编排定时任务、工作流任务、进行分布式任务调度

工作流调度

创建任务:和创建调度任务的步骤一致,请参见创建调度任务。导入任务:将已创建的Job导入到工作流中。说明 导入Job会弹出导入Job将会移除该Job的定时配置提示框,单击确认,则该Job不会独立调度,会跟随工作流的调度周期进行调度调度任务...

Fixed rate

Fixed rate定时配置示例 在创建调度任务时可以使用Fixed rate定时调度创建调度任务的详细操作步骤请参见创建调度任务。本文仅介绍在创建调度任务时如何配置Fixed rate定时调度。进入定时配置页签,详情请参见创建调度任务。在创建任务...

Second delay

本文仅介绍在创建调度任务时如何配置Second delay定时调度。进入定时配置页签,详情请参见创建调度任务。在创建任务配置向导的定时配置页签中设置定时调度参数,然后单击下一步。在时间类型右侧的列表中选择second_delay。在固定延迟右侧...

流程管理

流程管理提供可视化的任务编排,您可以使用Crontab创建定时调度工作流,并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击流程...

Cron

Cron是一款类Unix的操作系统下的基于时间的任务管理系统。您可以通过Cron在固定时间、日期间隔下运行定时任务(可以是命令和脚本)。Cron表达式 Cron的表达式为:秒分时 日月周[年]为了帮助您理解,下面介绍一些常用的Cron表达式示例。...

音视频通信

音视频通信RTC(Real-Time Communication)是阿里云覆盖全球的实时音视频开发平台,提供高可用、高品质、超低延时的实时网络服务,适用于在线教育、互动娱乐、视频会议、保险定损、调度指挥等场景。使用阿里云RTC SDK,您可以在移动、Web、...

如何创建秒级调度任务

本文将以一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型,适用于简单Java任务、分布式Java任务和脚本任务,以及各种执行方式。由于秒级调度属于定时调度,所以在定时配置步骤中请将时间类型设置为second_delay...

价格说明

计费维度 SchedulerX根据任务调度总量计算费用,单个SchedulerX应用的计费公式如下:单Schedulerx应用的任务调度总量(CU)=启用的单机任务数+启用的非单机任务数*该应用接入的Worker数任务调度总量为您所有应用的任务调度总量之和,且和...

任务管理

您可以在任务管理页面对调度任务进行一些列操作,包括创建、编辑、执行、复制、启禁用和删除,还可以重刷调度任务数据。创建调度任务 注意 创建任务前,请确保您已经创建了任务分组。详情请参见创建应用。登录分布式任务调度平台。在顶部...

产品功能

SchedulerX主要提供调度、执行和运维三方面的功能。多种表达式的定时调度 Crontab:支持Unix Crontab表达式,详情请参见Cron。不支持秒级别。Fixed rate:Crontab必须被60整除,不支持其它数量级时间间隔的任务,如每隔40分钟的定时任务。...

批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。

创建资源

在使用SchedulerX前,您需要先创建相关资源,包括命名空间、调度任务分组、调度任务和调度工作流。背景信息 资源 说明 使用场景 命名空间 在具体地域(Region)中,命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时,需要...

分布式任务调度SchedulerX商业化公告

为提供更优质的服务,阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...

应用管理

创建应用 在创建调度任务前,您需要先创建应用。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击应用管理。在应用管理页面选择目标命名空间,然后单击创建应用。在基本配置配置向导页,输入应用名和应用ID,设置高级配置...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台,提供定时调度调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志,还可以通过工作流进行任务...

名词解释

调度时间 JobInstance每次调度的时间叫做调度时间,JobProcessor可以根据context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行,但是实际上要处理上...

API调度

您可以使用API触发任务调度。API触发的使用方式请参见调用方式。

脚本任务

接入方式 脚本任务支持两种接入方式:嵌在应用进程中 安装schedulerx2-agent 创建方式 脚本任务在创建调度任务时编写脚本即可,详情请参见创建调度任务。编写脚本的方式包括创建无参数的Shell任务、带参数的Shell任务、Python任务和Go任务...

Agent接入(调度任务)

如果您无需为应用接入调度任务,仅想创建一个独立的脚本调度任务,也可以使用SchedulerX提供的Agent快速创建脚本任务。前提条件 创建命名空间(可选)创建应用 背景信息 脚本任务目前支持Shell、Python和Go三种语言。运行环境要求为JRE 1.8...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

命名空间管理

当您的应用有较高的安全要求时,需要创建命名空间,以便实现资源和服务的隔离。创建命名空间 登录分布式任务调度平台。在左侧导航栏单击命名空间。在顶部菜单栏选择地域,然后单击创建命名空间。在创建命名空间面板,输入命名空间的名称和...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

和开源产品对比

有开源产品同样可以实现分布式任务调度,本文介绍SchedulerX和开源产品的对比,帮助您更好的了解分布式任务调度和SchedulerX。产品 Quartz Elastic-Job XXL-JOB Apache Airflow SchedulerX 定时调度 Cron Cron Cron Cron Cron Fixed rate ...

如何管理应用级别的资源和任务优先级

对于业务规模较大的应用而言,调度的稳定性和核心任务的时效性是至关重要的,需要应用级别的资管管理和任务优先级来保证。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统(例如Mesos和Yarn),能够实现...

多语言版本分片模型

SchedulerX可以对多重任务进行调度(定时、编排、重刷历史数据等),提供Java、Python、Shell和Go等多语言分片模型,帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片:主要场景是处理固定的分片数,例如...

操作记录

您可以通过操作记录页面,查看应用分组、调度任务和流程的操作记录。操作步骤 登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击操作记录。在操作记录页面选择目标命名空间,查看操作记录。

联系我们

如果您在使用分布式任务调度SchedulerX的过程中有任何疑问和建议,欢迎扫描下面的二维码或搜索群号23103656加入钉钉群与我们交流。

应用权限管理

命名空间的权限管理 如果您已经开通SchedulerX,并且访问了某个Region,但该阿里云账号没有命名空间,系统会自动创建一个默认命名空。您可以修改默认命名空间的名称,或者新建命名空间。命名空间一般用来隔离环境,不同的RAM用户可能负责...

开通SchedulerX

对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。操作步骤 登录分布式任务调度平台。首次使用并登录分布式任务调度平台,在弹出的对话框中单击开通。在分布式任务...

产品优势

高可靠 通过分布式架构、数据三备份、消息At-least-once delivery、Failover和定期轮检等手段,保证任务调度和运行的高可靠。高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工...

巡检任务

巡检任务是巡检规则的聚合载体,并且提供修改规则的执行范围以及调度方式的功能。您可通过巡检任务模块对巡检任务进行统一的管理操作,包括创建、编辑、复制、删除、执行、调度任务等。创建任务从左侧导航栏进入 日常巡检>巡检任务 页面...

创建HTTP触发器节点

业务流程创建完成正常运行后,如果您想重跑触发器节点,您同时需要在外部调度系统中重新下发触发指令。业务流程创建完成正常运行后,如果您想获取触发器节点的下游任务节点的历史时间段的运行结果,您可参见补数据实例进行补数据操作。补...

如何通过工作流进行上下游数据传递

本文将以3个调度任务为例介绍如何通过工作流进行上下游任务间的数据传递。背景信息 当前只有简单Java任务支持数据传递,分布式Java任务请使用MapReduce模型进行数据传递,详情请参见MapReduce模型。操作步骤 在三个应用中分别实现任务调度...

从分布式任务调度1.0迁移到2.0

自2019年6月30日起,分布式任务调度SchedulerX 1.0(DTS)不再提供运维服务,提供服务的ECS实例也会裁撤,待所有用户下线后会完全下线,后续任务调度服务将由SchedulerX 2.0提供。本文介绍如何从SchedulerX 1.0迁移到SchedulerX 2.0。迁移...

GPU调度

本文介绍调度GPU资源的不同方法,包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后,通过运行TensorFlow的GPU实验环境,关于如何使用Kubernetes...

时间属性配置说明

用于定义节点发布生产调度系统后在调度环境下的相关属性,您可以通过调度配置的时间属性,配置节点生成周期实例的方式,实例调度周期与执行时间,是否支持重跑,任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。...

API概览

分布式任务调度SchedulerX2.0提供以下API接口。API列表 API 描述 CreateAppGroup 调用CreateAppGroup创建应用分组。CreateJob 调用CreateJob创建任务。GetJobInfo 调用GetJobInfo获取指定Jobid任务详情,通常用来更新任务。UpdateJob 调用...

LBS热力地图

LBS热力地图用热力的深浅来展示数据的大小和分布范围。本文为您介绍如何LBS热力地图添加数据并配置样式。仅高级版和专业版的群空间支持创建LBS热力地图。前提条件 已创建仪表板,请参见新建常规仪表板。已完成地理区域字段的切换,请参见...

新建并配置行为规则

如果来源表的类型为逻辑表,则需要基于Dataphin创建事实逻辑表、维度逻辑表或汇总逻辑表:如何创建事实逻辑表,请参见新建事实逻辑表。如何创建维度逻辑表,请参见新建维度。如何创建汇总逻辑表,请参见新建汇总逻辑表。如果使用他人负责的...
< 1 2 3 4 ... 63 >
跳转至: GO
产品推荐
视觉计算服务 音视频通信 httpdns 数据库专家服务 批量计算 云服务器 轻量应用服务器 SSL证书 商标
这些文档可能帮助您
音视频通信-StartMPUTask 什么是机器学习PAI 生成Token AliRtcEngine接口 iOS SDK接入 Android SDK接入

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折