分布式任务调度 SchedulerX

分布式任务调度 SchedulerX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台。您可以使用 SchedulerX 2.0 编排定时任务、工作流任务、进行分布式任务调度

HTTPDNS

HTTPDNS是面向多端应用(移动端APP,PC客户端应用)的域名解析服务,具有域名防劫持、精准调度、实时解析生效的特性。

堡垒

堡垒是一个集核心系统运维和安全审计为一体的综合性运维管控平台,提供运维身份鉴别、账号管控、系统操作审计等多种功能,帮助您保障云端运维工作权限受控、操作审计、安全合规。

批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。

Second delay

Second delay具有以下优势:高可靠:SchedulerX的秒级别任务具有高可靠的特性,如果某台机器宕机了,可以在30秒内在另一台机器上重新拉起。丰富的任务类型:SchedulerX的秒级别任务属于定时调度类型,可以适用于所有的任务类型和执行方式。...

任务管理

您可以在任务管理页面对调度任务进行一些列操作,包括创建、编辑、执行、复制、启禁用和删除,还可以重刷调度任务数据。创建调度任务 注意 创建任务前,请确保您已经创建了任务分组。详情请参见创建应用。登录分布式任务调度平台。在顶部...

价格说明

计费维度 SchedulerX根据任务调度总量计算费用,单个SchedulerX应用的计费公式如下:单Schedulerx应用的任务调度总量(CU)=启用的单机任务数+启用的非单机任务数*该应用接入的Worker数任务调度总量为您所有应用的任务调度总量之和,且和...

工作流调度

背景信息 工作流中的Job没有独立调度时间,跟随工作流的时间开始调度。支持上下游数据传输,请参见如何通过工作流进行上下游数据传递。工作流调度至少要有2个Job,且有依赖关系。如果只有一个Job,请直接使用任务管理。创建工作流 您可以...

任务管理

基于时间片的轮转调度时间片轮转调度使用时间片控制每个任务的执行时间,同等优先级的任务依次获得处理器被调度执行,每个任务可以运行的时间片是固定的,当任务的时间片用完后,该任务被放在对应优先级就绪队列的队尾,然后调度就绪队列...

产品功能

数据偏移时间 SchedulerX可以处理有数据状态的任务,在创建任务的时候设置调度时间,而实际上处理的数据时间可能和任务执行时间不一致,可以配置时间偏移,调度时间+时间偏移即数据时间。例如一个任务是每天00:30运行,但是实际上要处理前...

Fixed rate

由于Crontab必须被60整除,如果需要每隔40分钟执行一次调度,则Cron无法支持。Fixed rate专门用来做定期轮询,可以解决该问题,且表达式简单,但不支持秒级别。Fixed rate定时配置示例 在创建调度任务时可以使用Fixed rate定时调度,创建...

如何创建秒级调度任务

秒级任务适合对实时性要求比较高的业务,例如不停做轮询的准实时业务,通过内存网格和秒级调度,可以让您不停地处理海量的数据。本文将以一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型,适用于简单Java任务、...

Cron

Cron是一款类Unix的操作系统下的基于时间的任务管理系统。您可以通过Cron在固定时间、日期间隔下运行定时任务(可以是命令和脚本)。Cron表达式 Cron的表达式为:秒分时 日月周[年]为了帮助您理解,下面介绍一些常用的Cron表达式示例。...

流程管理

流程管理提供可视化的任务编排,您可以使用Crontab创建定时调度工作流,并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击流程...

名词解释

调度时间 JobInstance每次调度的时间叫做调度时间,JobProcessor可以根据context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行,但是实际上要处理上...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

API调度

您可以使用API触发任务调度。API触发的使用方式请参见调用方式。

和开源产品对比

有开源产品同样可以实现分布式任务调度,本文介绍SchedulerX和开源产品的对比,帮助您更好的了解分布式任务调度和SchedulerX。产品 Quartz Elastic-Job XXL-JOB Apache Airflow SchedulerX 定时调度 Cron Cron Cron Cron Cron Fixed rate ...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台,提供定时调度调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志,还可以通过工作流进行任务...

分布式任务调度SchedulerX商业化公告

为提供更优质的服务,阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...

自动轮转密钥

KMS执行策略 如果您指定开启自动轮转,则KMS会按照以下方式计算下次轮转的时间。lt;NextRotationTime>lt;LastRotationTime>lt;RotationInterval>参数含义如下:LastRotationTime:生成上一个密钥版本的时间。您可以通过...

创建资源

在使用SchedulerX前,您需要先创建相关资源,包括命名空间、调度任务分组、调度任务和调度工作流。背景信息 资源 说明 使用场景 命名空间 在具体地域(Region)中,命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时,需要...

操作记录

您可以通过操作记录页面,查看应用分组、调度任务和流程的操作记录。操作步骤 登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击操作记录。在操作记录页面选择目标命名空间,查看操作记录。

计算层高可用

同时对于interactive模式下本身目标在于延迟敏感的分析场景,目前对于计算节点异常宕机的场景,计算引擎会通过查询级别重算,保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务,这类任务计算时间长,计算资源消耗大,如果依然查询级别...

Agent接入(调度任务)

如果您无需为应用接入调度任务,仅想创建一个独立的脚本调度任务,也可以使用SchedulerX提供的Agent快速创建脚本任务。前提条件 创建命名空间(可选)创建应用 背景信息 脚本任务目前支持Shell、Python和Go三种语言。运行环境要求为JRE 1.8...

联系我们

如果您在使用分布式任务调度SchedulerX的过程中有任何疑问和建议,欢迎扫描下面的二维码或搜索群号23103656加入钉钉群与我们交流。

产品优势

高可靠 通过分布式架构、数据三备份、消息At-least-once delivery、Failover和定期轮检等手段,保证任务调度和运行的高可靠。高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工...

脚本任务

接入方式 脚本任务支持两种接入方式:嵌在应用进程中 安装schedulerx2-agent 创建方式 脚本任务在创建调度任务时编写脚本即可,详情请参见创建调度任务。编写脚本的方式包括创建无参数的Shell任务、带参数的Shell任务、Python任务和Go任务...

多语言版本分模型

SchedulerX可以对多重任务进行调度(定时、编排、重刷历史数据等),提供Java、Python、Shell和Go等多语言分模型,帮助您处理大数据业务需求。背景信息 分模型主要包含静态分和动态分。静态分:主要场景是处理固定的分数,例如...

应用管理

创建应用 在创建调度任务前,您需要先创建应用。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击应用管理。在应用管理页面选择目标命名空间,然后单击创建应用。在基本配置配置向导页,输入应用名和应用ID,设置高级配置...

命名空间管理

创建命名空间 登录分布式任务调度平台。在左侧导航栏单击命名空间。在顶部菜单栏选择地域,然后单击创建命名空间。在创建命名空间面板,输入命名空间的名称和描述,然后单击确定。命名空间创建成功,会提示创建成功。返回命名空间页面,...

Second delay

Second delay具有以下优势:高可靠:SchedulerX的秒级别任务具有高可靠的特性,如果某台机器宕机了,可以在30秒内在另一台机器上重新拉起。丰富的任务类型:SchedulerX的秒级别任务属于定时调度类型,可以适用于所有的任务类型和执行方式。...

开通SchedulerX

背景信息 阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。操作步骤 登录分布式任务调度平台。首次...

如何使单应用支持十万以上的定时任务

应用场景 常见应用场景是每个定时任务调度时间都不一样,无法通过MapReduce分布式任务解决(MapReduce分布式任务每个子任务调度时间是一致的)。物联网智能开关 智能开关可以设置定时开启、关闭,是由用户自定义设置的,所以每个开关的定时...

如何管理应用级别的资源和任务优先级

对于业务规模较大的应用而言,调度的稳定性和核心任务的时效性是至关重要的,需要应用级别的资管管理和任务优先级来保证。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统(例如Mesos和Yarn),能够实现...

UpdateSecretRotationPolicy

凭据开启自动轮转后,首次自动轮转的时间为上次轮转时间加上轮转周期。使用限制:UpdateSecretRotationPolicy接口不支持更新普通凭据的轮转策略。本文将提供一个示例,更新名称为RdsSecret/Mysql5.4/MyCred的凭据轮转策略。具体如下:将...

单机

单机执行表示一个任务实例只会随机触发到一台Worker上,支持所有的任务类型。

密钥轮转概述

减小破解密钥的时间窗口 如果在定期轮转加密密钥的基础上,将旧的加密密钥产生的密文数据用新的加密密钥轮转加密,则轮转周期即为一个密钥的破解时间窗口。这意味着恶意者只有在两次轮转事件之间完成破解,才能拿到数据。这对于保护数据不...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折