批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。

Teambition

我们的工作充满着大大小小的「项目」、「任务」:活动策划、工程实施、IT 研发、风险投资等等。使用 Teambition 「项目化」管理,团队规划工作事目标更清晰,执行更到位,而且完成过程也十分轻松,成员将有全新的协作体验。

企业邮箱

企业邮箱是以企业域名后缀的邮箱,既能体现公司的品牌和形象,又能方便公司主管人员对员工信箱进行统一管理,还能使得公司商业信函来往获得更好更安全的管理,是现今互联网时代中不可缺少的现代化的通讯工具。

优化求解器

优化求解器产品是求解优化问题的专业...可广泛应用于云计算、电力能源、工业制造、交通物流、零售、金融等领域,能帮助设计或生产方案优化、资源合理分配、辅助决策等,是深埋于智能决策场景底层的“降本增效”的好工具,工业设计软件之芯。

文件存储 HDFS

您无需对现有大数据分析应用任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。\n\n文件存储HDFS适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户,进行海量...

诊断说明

作业诊断功能可以基于作业在MaxCompute产品中运行时产生的各个阶段状态信息,与作业历史运行数据进行对比分析,得出作业相比历史在某些环节或诊断维度上的缺陷和问题,并针对问题给出相应的原因和解决方案,以此提升作业运行效率,实现运维...

通过控制台创建作业

后处理命令后处理命令在作业成功执行完成后执行,用于对作业结果后续处理,如打包上传OSS等。标准输出路径定义Linux系统的stderr/stdout输出重定向路径,包含输出文件名。stdout:标准文件输出路径。stderr:错误文件输出路径。集群用户...

作业编辑

作业创建成功后,就可以相应的作业设置、作业编辑等操作了。设置作业 各类作业类型的开发与设置,请参见作业部分。以下内容介绍的是作业的基础设置、高级设置、共享库和告警设置。在作业编辑页面,单击右上角的作业设置。在作业设置面板...

RDS SQL Server实例如何手动执行作业及查看执行作业...

阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响,不任何暗示或其他形式的承诺。概述 RDS SQL Server实例如何手动执行作业及查看执行作业记录。详细信息 阿里云提醒您: 如果您对实例或数据有修改、变更等风险操作,务必...

作业运维

本文为您介绍如何查看作业的详情和状态,以及如何修改作业状态和配置信息。查看作业详情 登录实时计算统一控制台。在Flink半托管/ACK页签,单击对应工作空间操作列下的控制台。在左侧导航栏上,单击作业管理>作业列表。单击目标作业名称。...

RDS SQL Server实例如何添加作业计划

阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响,不任何暗示或其他形式的承诺。概述 本文主要介绍RDS SQL Server实例如何添加作业计划。详细信息 阿里云提醒您: 如果您对实例或数据有修改、变更等风险操作,务必注意实例...

2021-03-16版本

原VVP平台没有开发和运维分离,即SQL脚本和上线作业间不存在关联关系,因此SQL脚本和上线作业的命名方式未一致性要求。新版VVP支持开发和运维分离: SQL脚本名和线上作业名一一对应,原SQL脚本名中如果存在中文,升级后将会把中文用...

创建和执行Spark作业

本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先创建虚拟集群,具体请参考创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为Spark。如果您是子账号登录,需要配置子账号提交作业的权限,具体请...

管理作业模板

通过作业模板,您无需配置作业参数,即可快速创建作业,提高工作效率。本文介绍如何创建、使用、编辑、删除作业模板。创建作业模板创建作业模板时,一个地域下最多可创建20个作业模板。登录弹性高性能计算控制台。在顶部菜单栏左上角处,...

作业监控

作业执行完成后,您可以在作业监控页面查看作业整体运行状况。作业监控概览页面展示了作业基础状态统计和作业类型统计,同时也支持对作业进行作业运行情况的智能诊断。前提条件 已创建集群,详情请参见创建集群。作业监控入口 登录阿里云E-...

MaxCompute作业运维管理

MaxCompute提供作业运维管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。本文为您介绍如何通过MaxCompute管家运维管理作业。功能入口 您可以按照如下步骤进入作业管理页面:登录...

ACID语义

本文为您介绍MaxCompute在作业并发情况下ACID的语义及Transactional表的ACID语义。相关术语 操作:指在MaxCompute上提交的单个作业。数据对象:指持有实际数据的对象,例如非分区表、分区。INTO类作业:指INSERT INTO、DYNAMIC INSERT INTO...

临时查询

在新建交互式作业对话框中,填写作业名称和作业描述,从作业类型列表中,选择新建的作业类型。E-MapReduce数据开发支持Shell、SparkSQL、Spark Shell和HiveSQL四种类型的临时查询作业。注意 创建作业作业类型一经确定,不能修改。单击...

作业启动

完成作业开发和上线后,您需要在作业运维页面启动作业至运行阶段。此外,作业在暂停或者停止后需要恢复时,需要启动作业。背景信息 作业启动的场景如下: 上线后启动:您可以选择全新启动(无状态),并可以指定读取数据的时间。暂停后启动...

通过Logview诊断慢作业

在实际业务开发过程中,企业通常要求作业能在期望的时间节点前产出结果,并根据结果进一步决策,这就需要作业开发人员及时关注作业运行状态,识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...

开发

本文为您介绍实时计算Flink版作业开发流程以及语法检查、配置作业参数、配置项目参数、SQL辅助和SQL版本管理功能。背景信息 说明 实时计算Flink版主要使用Flink SQL进行作业开发,Flink SQL开发手册请参见概述。实时计算Flink版独享模式不...

管理作业

在项目中,您可以通过创建作业来进行任务开发。本文为您介绍如何创建作业、设置和删除作业。前提条件 已创建项目,详情请参见新建项目。创建作业 进入项目空间页面。使用阿里云账号登录Databricks数据洞察控制台。在Databricks数据洞察控制...

作业启动

完成作业开发和上线后,您需要在作业运维页面启动作业至运行阶段。此外,作业在暂停或者停止后需要恢复时,需要启动作业。背景信息 作业启动的场景如下: 上线后启动:您只能选择全新启动(无状态)。暂停后启动:暂停作业时,系统会默认...

作业启动

完成作业开发和上线后,您需要在作业运维页面启动作业至运行阶段。此外,作业在暂停或者停止后需要恢复时,需要启动作业。背景信息 作业启动的场景如下: 上线后启动:您只能选择全新启动(无状态)。暂停后启动:暂停作业时,系统会默认...

作业和管道

作业在媒体处理服务里面是一个抽象的概念,包含多种类型的作业:转码作业、截图作业、媒体信息作业等。在一个作业中,包含3个关键信息:输入、输出和参数。输入和输出设定作业执行时的输入文件以及执行后的输出文件,参数则用来设置执行...

开发控制台组件介绍

您可以在VVP平台一式完成作业的开发、提交和运维。作业管理 JAR包管理您可以单击单击可添加文件或将JAR包拖到列表的方式上传JAR包。此外,您还可以下载或删除已上传的JAR包。开发作业详情请参见开发。提交作业详情请参见提交。作业状态...

引擎运维

在DataWorks实例任务中,E-MapReduce计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。...

设置调度器配置信息

作业运行情况如下:0s:开始调度,作业一Running,作业二、作业三Pending(由于作业二优先级高于作业三,即使有空闲资源运行作业三,但是没有触发调度)。10s:过了一个Backfill周期,触发Backfill调度,判断小负载的作业三可以绕过高优先...

Flink(VVR)on YARN基础使用

本文为您介绍如何在E-MapReduce上提交Flink作业以及查看作业。背景信息 Dataflow集群中的Flink是以YARN模式部署的,在Dataflow集群中,您可以通过两种方式提交Flink作业:通过控制台的数据开发进行提交。提交Flink作业详情,请参见Flink...

作业超时监控告警

MaxCompute支持通过配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。本文为您介绍作业超时报警的监控指标、配置方法及处理报警方式。前提条件 在配置作业...

查看Spark监控

查看作业监控 您可以通过作业列表或者作业尝试列表查看作业监控。作业列表查看作业监控。登录Data Lake Analytics管理控制台。单击Serverless Spark>作业管理。在作业列表中,单击目标作业操作,选择监控。说明 作业监控的监控项详情请参见...

作业类型

背景批量计算依据您使用集群方式的区别,将作业分为固定集群作业,自动集群作业,组合集群作业三种类型。下面分别介绍三种作业的优缺点,您可依据业务需求选择相应的作业类型。作业概述固定集群作业优点:集群支持分布式缓存,适用大规模...

管理作业版本

本文从以下方面为您介绍如何管理作业版本:对比作业版本 回滚作业版本 锁定作业版本 删除作业版本 对比作业版本 仅支持SQL代码和作业配置内容的对比,有差异的内容就会被标记出来。登录实时计算管理控制台。在Flink全托管页签,单击目标...

名词解释

另外,媒体处理服务还有一些特殊作业:模板分析作业、截图作业、媒体信息作业,这些作业各自完成模板分析、截图、获取媒体信息等功能,不占用管道资源。管道(MPS queue) 管道是一作业队列,转码作业加入到管道中,才会被媒体处理服务调度...

如何使用

如果您是手动停止作业后,再重启作业,您可以在重启设置启动位点时,调整启动时间到停止时间之前,并建议您使用带主键唯一特性的数据库结果表,即使上游存储有部分重复消费的数据,最终结果也能接近准确。因为实时计算独享和共享模式本身...

作业实例详情

本文为您介绍如何查看作业实例详情。查看作业实例详情 MaxCompute Studio支持2种方式查看MaxCompute作业实例详情。通过Logview URL或本地的Logview离线文件以只读方式打开作业详情。使用Logview查看作业的详细信息是比较常用的方式。使用...

停止作业

作业运行失败或不再需要运行该作业时,您可以停止处于QUEUE或RUNNING状态的作业。本文介绍如何停止作业。前提条件作业必须处于QUEUE或RUNNING状态。操作步骤登录弹性高性能计算控制台。在顶部菜单栏左上角处,选择地域。在左侧导航栏,...

如何提交App作业

通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业,并选择要使用的 App。各参数的含义如下: 作业名称:作业的名称【必填参数】。备注:作业的备注信息【选填参数】。通知订阅:消息通知配置,用户...

使用Logview 2.0查看Job运行信息

标题与功能区包含您提交MaxCompute作业时生成的唯一作业ID及您自定义的作业名称(通过SDK方式提交的作业包含作业名称信息)。您还可以执行如下操作。图标 功能 打开本地保存的作业详情文件Logview_detail.txt。返回Logview旧版界面。将作业...

Spark作业配置

本文介绍如何配置Spark类型的作业。前提条件 已创建好项目,详情请参见项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域和资源组。单击上方的数据开发页...
< 1 2 3 4 ... 165 >
跳转至: GO
产品推荐
块存储 实时计算 批量计算 E-MapReduce 文件存储HDFS 安全加速 SCDN 云服务器 物联网无线连接服务
这些文档可能帮助您
创建数据视图 消息队列Kafka源表 文档最新动态 什么是E-MapReduce 支持的上下游存储 建站零基础入门

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折