分布式任务调度 SchedulerX

分布式任务调度 SchedulerX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台。您可以使用 SchedulerX 2.0 编排定时任务、工作流任务、进行分布式任务调度

批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。

HTTPDNS

HTTPDNS是面向多端应用(移动端APP,PC客户端应用)的域名解析服务,具有域名防劫持、精准调度、实时解析生效的特性。

云数据库专属集群 MyBase

云数据库专属集群 MyBase 是由多台主机(底层服务器,如ECS I2服务器、神龙服务器)组成的集群,相对于全托管数据库,可以实现更灵活的资源调度、更强大的企业级数据库服务、更丰富的权限等。

音视频通信

Communication)是阿里云覆盖全球的实时音视频开发平台,提供高可用、高品质、超低延时的实时网络服务,适用于在线教育、互动娱乐、视频会议、保险定损、调度指挥等场景。使用阿里云RTC SDK,您可以在移动、Web、PC等多端快速搭建互通互联...

云游戏平台

云游戏PaaS平台是为游戏云化量身打造的一站式服务平台,具备游戏快速适配、资源弹性伸缩、全局智能调度、可视化数据运营和完善的平台运维能力。庞大的资源池支持海量游戏稳定运行,量身打造的容器技术和协议带来极致游戏体验,多样化的SDK...

使用Kettle调度MaxCompute

MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式,方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动,连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...

Second delay

通过内存网格和秒级别调度可以不停地处理海量的数据。统计信息:SchedulerX还提供了秒级别任务的统计信息,例如当天执行了多少次,成功的次数和失败的次数,最近10次运行结果等。Second delay定时配置示例 在创建调度任务时可以使用...

价格说明

SchedulerX根据任务调度总量计算费用,单个SchedulerX应用的计费公式如下:单Schedulerx应用的任务调度总量(CU)=启用的单机任务数+启用的非单机任务数*该应用接入的Worker数任务调度总量为您所有应用的任务调度总量之和,且和调度任务...

如何创建秒级调度任务

秒级任务适合对实时性要求比较高的业务,例如不停轮询的准实时业务,通过内存网格和秒级调度可以让您不停地处理海量的数据。本文将一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型,适用于简单Java任务、...

工作流调度

可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击流程管理。在流程管理页面选择目标命名空间,然后单击创建工作流。在创建工作流面板,设置工作流的名称...

Fixed rate

rate专门用来定期轮询,可以解决该问题,且表达式简单,但不支持秒级别。Fixed rate定时配置示例 在创建调度任务时可以使用Fixed rate定时调度,创建调度任务的详细操作步骤请参见创建调度任务。本文仅介绍在创建调度任务时如何配置Fixed...

流程管理

流程管理提供可视化的任务编排,您可以使用Crontab创建定时调度工作流,并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击流程...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台,提供定时调度调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志,还可以通过工作流进行任务...

任务管理

可以在任务管理页面对调度任务进行一些列操作,包括创建、编辑、执行、复制、启禁用和删除,还可以重刷调度任务数据。创建调度任务 注意 创建任务前,请确保您已经创建了任务分组。详情请参见创建应用。登录分布式任务调度平台。在顶部...

分布式任务调度SchedulerX商业化公告

开通商用实例 分布式任务调度SchedulerX商业化之后,将会商用方式提供服务,您可以直接开通商用版本。相关的计费项和价格,请参见价格说明。公测期实例转正式商用说明 对于公测期间在分布式任务调度SchedulerX上创建的调度任务,请根据...

工作流调度Zeppelin Notebook

设置作业参数(Knox)作业调度Notebook,需要配置执行集群knox账号相关的参数来连接作业和Notebook,具体操作步骤如下:单击作业设置左侧抽屉中单击高级设置在环境变量中单击添加并填写参数参数一:Z_USE_KNOX true参数二:Z_USERNAME Knox...

使用Azkaban调度MaxCompute

MaxCompute支持您通过Azkaban实现作业调度,帮助您高效地完成高频数据分析工作。本文通过MaxCompute客户端执行命令(Command)的方式为例为您介绍如何使用Azkaban调度SQL作业。背景信息 Azkaban是一套作业调度系统,可以调度Command、...

产品功能

rate专门用来定期轮询,可以弥补Crontab的不足,且表达式简单,详情请参见Fixed rate。不支持秒级别。Second delay:适用于对实时性要求比较高的业务,例如执行间隔为10秒的定时调度任务,详情请参见Second delay。支持秒级别。日历:...

Cron

在创建调度任务时可以使用Cron定时调度,创建调度任务的详细操作步骤请参见创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入定时配置页签,详情请参见创建调度任务。在创建任务配置向导的定时配置页签中设置定时调度...

设置调度器配置信息

E-HPC支持设置调度器配置信息,您可以根据业务需要,配置队列资源限制、作业执行周期,提高节点资源的使用率。本文介绍如何设置集群的调度器配置信息。背景信息集群的调度器必须为pbs、pbs19、slurm、slurm19、slurm20。调度器是集群上...

API调度

可以使用API触发任务调度。API触发的使用方式请参见调用方式。

名词解释

JobInstance每次调度的时间叫做调度时间,JobProcessor可以根据context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行,但是实际上要处理上一天的数据...

使用Apache Airflow调度MaxCompute

MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具,基于有向无环图(DAG),...

Agent接入(调度任务)

如果您无需为应用接入调度任务,仅想创建一个独立的脚本调度任务,也可以使用SchedulerX提供的Agent快速创建脚本任务。前提条件 创建命名空间(选) 创建应用 背景信息 脚本任务目前支持Shell、Python和Go三种语言。运行环境要求为JRE 1....

如何重刷数据

通过重刷数据功能,您可以重新触发一段时间区间内的实例,来重刷业务数据。重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和...

如何重刷数据

通过重刷数据功能,您可以重新触发一段时间区间内的实例,来重刷业务数据。重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和...

和开源产品对比

有开源产品同样可以实现分布式任务调度,本文介绍SchedulerX和开源产品的对比,帮助您更好的了解分布式任务调度和SchedulerX。产品 Quartz Elastic-Job XXL-JOB Apache Airflow SchedulerX 定时调度 Cron Cron Cron Cron Cron Fixed rate ...

操作记录

可以通过操作记录页面,查看应用分组、调度任务和流程的操作记录。操作步骤 登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击操作记录。在操作记录页面选择目标命名空间,查看操作记录。

创建资源

在使用SchedulerX前,您需要先创建相关资源,包括命名空间、调度任务分组、调度任务和调度工作流。背景信息 资源 说明 使用场景 命名空间 在具体地域(Region)中,命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时,需要...

开通SchedulerX(免费)

在开始使用SchedulerX前,需要先开通。SchedulerX目前在公测期,免费。...付费类型为后付费类型,任务计算量为按任务计算量付费,不修改。在确认订单页面服务协议区域单击我已阅读并同意分布式任务管理(按量后付费)服务协议,单击去支付。

脚本任务

可以在创建任务时直接编写Shell、Python和Go脚本以便创建脚本任务。接入方式 脚本任务支持两种接入方式:嵌在应用进程中 安装schedulerx2-agent 创建方式 脚本任务在创建调度任务时编写脚本即可,详情请参见创建调度任务。编写脚本的方式...

概述

可以通过控制台管控作业调度任务,并监控各类作业的运行状态,以便管理和运维工作流。E-MapReduce数据开发的具体功能包括:数据开发项目管理:为项目关联集群资源和添加项目成员,详情请参见项目管理。大数据作业开发和编辑:支持Hive、...

如何使单应用支持十万以上的定时任务

大部分场景下使用一个MapReduce分布式任务是可以解决的,但是如果由于报警规则的复杂程度不同而导致执行时间差异较大时,有可能出现一个报警子任务没有执行完而阻塞整个任务下次调度。所以,可以给每个报警规则配置一个定时单机任务。当...

联系我们

如果您在使用分布式任务调度SchedulerX的过程中有任何疑问和建议,欢迎扫描下面的二维码或搜索群号23103656加入钉钉群与我们交流。

工作流编辑

每个作业节点被拖入画布后,在节点编辑面板可以做如下配置。配置项 描述 关联作业 需要关联对应作业类型的作业。自定义作业配置 根据业务情况打开或者关闭自定义作业配置。打开:您可以选择该作业节点的执行集群。关闭(默认):该作业节点...

如何管理应用级别的资源和任务优先级

对于业务规模较大的应用而言,调度的稳定性和核心任务的时效性是至关重要的,需要应用级别的资管管理和任务优先级来保证。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统(例如Mesos和Yarn),能够实现...

命名空间管理

创建命名空间 登录分布式任务调度平台。在左侧导航栏单击命名空间。在顶部菜单栏选择地域,然后单击创建命名空间。在创建命名空间面板,输入命名空间的名称和描述,然后单击确定。命名空间创建成功,会提示创建成功。返回命名空间页面,...

应用管理

可以通过应用管理页面创建应用(任务分组)、测试该应用的连接机器、为RAM用户进行分组授权等操作,如果不需要该应用,还可以删除应用。创建应用 在创建调度任务前,您需要先创建应用。登录分布式任务调度平台。在顶部菜单栏选择地域。在...

产品优势

高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本,接入简单,提供报警监控。安全防护 多层次安全防护,包括:支持HTTPS,VPC访问。支持用户隔离、命名空间隔离和应用...
< 1 2 3 4 ... 92 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折