分布式任务调度 SchedulerX

分布式任务调度 SchedulerX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台。您可以使用 SchedulerX 2.0 编排定时任务、工作流任务、进行分布式任务调度。

移动数据分析

移动数据分析(Mobile Analytics)是阿里云推出的一款移动App数据统计分析产品,提供通用的多维度用户行为分析,支持日志自主分析,助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。

云原生数据湖分析 DLA

云原生数据湖分析(Data Lake Analytics,简称DLA)是无服务器(Serverless)化的数据湖分析服务,支持按需与保留资源使用,打造最具性价比的数据湖分析平台;提供一站式的数据湖分析与计算服务,支持 ETL、机器学习、流、交互式分析,可以...

智能对话分析

智能对话分析(Smart Conversation Analysis)依托于阿里云语音识别和自然语言分析技术,为企业用户提供智能的对话分析服务,支持语音和文本数据的接入。可用于电话/在线客服坐席服务质量检测、风险监控识别、服务策略优化等场景。

物联网数据分析

物联网数据分析LA(Link Analytics)是阿里云为物联网开发者提供的数据智能分析产品,针对物联网数据特点,提供海量数据的存储备份、资产管理、报表分析和数据服务等能力,帮助企业用户更容易地挖掘物联网数据中的价值。

交互式分析Hologres

交互式分析Hologres是实时交互式分析产品,兼容PostgreSQL协议,与大数据生态无缝连接,支持高并发和低延时地查询分析万亿级数据,帮助您轻松的使用现有BI工具分析业务数据。

Quick Tracking

用户行为洞察分析平台(QuickTracking)是阿里云推出的企业级流量统计分析产品,支持多端(APP、小程序、WEB)数据采集,提供通用的多维度用户行为分析模型。借助Quick Tracking,技术、产品、运营等同学可以快速按需提取和分析流量数据,...

卫星及无人机遥感影像分析产品

卫星与无人机遥感影像智能分析产品(Satellite and UAV image analysis)依托于阿里巴巴在深度学习,计算机视觉方向上的技术积累,采用基于深度学习的多尺度融合检测技术,实现了卫星及无人机影像中的变化特征及建筑、土地、河流等多种目标...

热词分析

如上图所示,周期性任务任务结果,在一次性任务任务结果基础上,多了以下两个功能:查看某个热词在多次任务结果中的变化趋势热词变化率TOP5热词变化率:本次任务结果中的热词次数与上一次任务结果中的热词次数相比的变化情况;...

使用限制

公司名称:设备数量:资源获取需求:分析透视相关限制 限制 描述 可视化分析任务≤1000个 单个阿里云账号最多可创建1000个可视化分析任务。时序透视任务≤1000个 单个阿里云账号最多可创建1000个时序透视任务。SQL分析任务≤1000个 单个...

SQL类型任务

请根据提示信息更改SQL内容,若对提示信息有疑问或不知道如何修改,则可以从流数据任务分析页面,选择一个节点编程任务,单击该任务卡片,进入节点编程页,单击右上方的SQL预览图标,参考SQL语句。根据参考内容重新编写SQL后,再次进行校验...

流数据任务开发

任务开发提供在云上进行流式数据实时化分析的工具,它使用阿里云StreamSQL,可以轻松搭建自己的实时数据分析和计算任务。实时数据分析任务包括节点编程任务和SQL任务,对数据进行处理、过滤或分流。登录数据分析控制台,单击任务开发,进入...

Second delay

本文仅介绍在创建调度任务如何配置Second delay定时调度。进入定时配置页签,详情请参见创建调度任务。在创建任务配置向导的定时配置页签中设置定时调度参数,然后单击下一步。在时间类型右侧的列表中选择second_delay。在固定延迟右侧...

任务管理

您可以在任务管理页面对调度任务进行一些列操作,包括创建、编辑、执行、复制、启禁用和删除,还可以重刷调度任务数据。创建调度任务 注意 创建任务前,请确保您已经创建了任务分组。详情请参见创建应用。登录分布式任务调度平台。在顶部...

价格说明

计费维度 SchedulerX根据任务调度总量计算费用,单个SchedulerX应用的计费公式如下:单Schedulerx应用的任务调度总量(CU)=启用的单机任务数+启用的非单机任务数*该应用接入的Worker数任务调度总量为您所有应用的任务调度总量之和,且和...

产品功能

再通过任务优先级,可以实现类似于yarn的任务优先级队列,超过并发数的任务在队列中等待,高优先级任务会抢占低优先级任务优先调度。很多场景下都有应用级别资源控制和任务优先级的需求。例如数据平台每天要收集报表,可能会有成千上万的...

脚本任务

您可以在创建任务时直接编写Shell、Python和Go脚本以便创建脚本任务。接入方式 脚本任务支持两种接入方式:嵌在应用进程中 安装schedulerx2-agent 创建方式 脚本任务在创建调度任务时编写脚本即可,详情请参见创建调度任务。编写脚本的方式...

如何管理应用级别的资源和任务优先级

本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统(例如Mesos和Yarn),能够实现CPU和内存级别的资源管控,而您使用自己的Worker通过客户端接入SchedulerX,所以SchedulerX作为通用的任务调度平台,无法...

如何创建秒级调度任务

本文将以一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型,适用于简单Java任务、分布式Java任务和脚本任务,以及各种执行方式。由于秒级调度属于定时调度,所以在定时配置步骤中请将时间类型设置为second_delay...

API概览

分布式任务调度SchedulerX2.0提供以下API接口。API列表 API 描述 CreateAppGroup 调用CreateAppGroup创建应用分组。CreateJob 调用CreateJob创建任务。GetJobInfo 调用GetJobInfo获取指定Jobid任务详情,通常用来更新任务。UpdateJob 调用...

执行列表

您可以通过执行列表查看当天任务执行情况,分为任务实例列表和流程实例列表。查看执行列表 说明 每个任务/工作流默认保存最近60条记录。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击执行列表。在执行列表页面的所属...

工作流调度

通过可视化的工作流进行任务编排,支持Cron表达式和API。背景信息 工作流中的Job没有独立调度时间,跟随工作流的时间开始调度。支持上下游数据传输,请参见如何通过工作流进行上下游数据传递。工作流调度至少要有2个Job,且有依赖关系。...

流程管理

流程管理提供可视化的任务编排,您可以使用Crontab创建定时调度工作流,并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击流程...

客户端版本说明

1.2.9,2021-08-27 新特性 单机秒级别循环支持在不同Worker间分发切换执行,SpringBoot配置参数如下:spring.schedulerx2.enableSecondDelayStandaloneDispatch=true(默认false)问题修复 修复广播任务在并发情况下出现执行中断的问题 修复...

任务管理高级配置参数说明

本文介绍任务管理中的高级配置参数。任务管理高级配置参数说明如下:参数 适用的执行模式 解释 默认值 实例失败重试次数 通用 任务运行失败自动重试的次数。0 实例失败重试间隔 通用 每次失败重试的间隔。单位:秒。30 实例并发数 通用 同...

服务端版本说明

支持授权/取消权限的POP API 支持连续失败次数报警 支持命名空间下的应用授权 优化 搜索优化 任务管理和流程管理支持通过状态搜索过滤 执行列表支持通过实例ID搜索 应用列表下拉框支持模糊搜索 删除非空应用做检验,有任务不准删除应用 ...

Fixed rate

本文仅介绍在创建调度任务如何配置Fixed rate定时调度。进入定时配置页签,详情请参见创建调度任务。在创建任务配置向导的定时配置页签中设置定时调度参数,然后单击下一步。在时间类型右侧的列表中选择fixed_rate。在固定频率右侧输入...

任务管理

以数据集为数据源发起质检任务,可以对数据集中的文件进行质检分析。新建任务点击 数据集质检-任务管理 页面列表上方的 新建任务 按钮,如下图所示,按照页面要求进行填写,具体说明如下:任务名称:系统会自动生成一个当前时间的任务名称...

查看任务

查看任务您可以在任务管理页面查看当前任务的运行状态,当运行状态显示“已识别”后,可进行任务详情查看或者下载结果文件(带.shp文件的...在任务详情页面,您可以对影像及分析结果进行在线可视化查看,双图任务时支持卷帘工具进行对比分析

如何使单应用支持十万以上的定时任务

本文介绍如何通过一系列配置,使单应用能够支持上万,甚至十万以上的定时任务,并且不同任务能够有独立的调度时间。应用场景 常见应用场景是每个定时任务调度时间都不一样,无法通过MapReduce分布式任务解决(MapReduce分布式任务每个子...

HTTP任务(Serverless)

如何获取任务基本信息 HTTP任务,会将任务基本信息打入header中,如果想获取任务的基本信息,可以在客户端的pom.xml中增加以下依赖。lt;dependency>lt;groupId>com.aliyun.schedulerx<groupId>lt;artifactId>schedulerx2-...

下载结果

您可以在任务管理页面查看当前任务的运行状态,当运行状态显示“已识别”后,可进行任务详情查看或者下载结果文件(带.shp文件的压缩包)...在任务详情页面,您可以对影像及分析结果进行在线可视化查看,双图任务时支持卷帘工具进行对比分析

UpdateJob

调用UpdateJob更新任务配置信息。默认先调用获取任务找到对应字段进行修改。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 UpdateJob 系统规定参数。取值:UpdateJob。ExecuteMode String 是 standalone 任务执行模式,目前...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

多语言版本分片模型

SchedulerX可以对多重任务进行调度(定时、编排、重刷历史数据等),提供Java、Python、Shell和Go等多语言分片模型,帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片:主要场景是处理固定的分片数,例如...

如何设置数据时间

SchedulerX可以处理有数据状态的任务,您可以通过数据时间处理非任务执行时间的数据。操作步骤 例如一个任务在每天00:30运行,但是实际上要处理前一天的数据,即数据时间需要在任务时间的基础上,向前偏移一小时。在客户端中接入SchedulerX...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

从分布式任务调度1.0迁移到2.0

自2019年6月30日起,分布式任务调度SchedulerX 1.0(DTS)不再提供运维服务,提供服务的ECS实例也会裁撤,待所有用户下线后会完全下线,后续任务调度服务将由SchedulerX 2.0提供。本文介绍如何从SchedulerX 1.0迁移到SchedulerX 2.0。迁移...

调试与发布

物联网数据分析的离线管道,通过Topic解析任务,实现对物联网数据的智能分析,助您洞察物联网数据价值。本文介绍如何发布和查看Topic解析数据。前提条件已完成数据解析配置。具体操作,请参见配置源定义、配置表达式、配置目标定义。操作...

JobContext参数说明

参数 解释 long jobId 任务ID long jobInstanceId 任务实例ID long wfInstanceId 工作流实例ID long taskId 分布式任务任务ID,根任务是0。DateTime scheduleTime 实例的计划调度时间 DateTime dataTime 实例的数据时间 String jobType ...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 轻量应用服务器 商标 物联网无线连接服务 SSL证书 对象存储
这些文档可能帮助您
扫描量版本与CU版本的差异 什么是云安全中心 什么是Hologres 作业配置指南 Spark SQL 创建和执行Spark作业

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折