任务中心
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
标记离线计算实例
对执行失败或异常的离线计算实例标记后，实例的状态会标记为成功，方便对实例进行筛选。本文主要介绍如何标记离线计算实例。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
标记离线计算实例
对执行失败或异常的离线计算实例标记后，实例的状态会标记为成功，方便对实例进行筛选。本文主要介绍如何标记离线计算实例。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
数据开发
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过托拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录 数据资源平台控制台。在页面左上...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录企业数据智能平台。在页面左上角...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
产品限制
版本v20150630：BatchCompute 使用共享资源池支持大规模离线计算，计算任务可能需要排队等待。计算节点暂不支持公网访问。
计算源概述
功能概述 您可根据业务需求添加相应计算源，各计算源描述及创建说明如下：计算设置 计算源 MaxCompute 计算设置为MaxCompute的租户支持创建以下计算源：离线计算源 MaxCompute计算源：绑定MaxCompute计算源的项目，支持规范建模、即席查询...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
新建离线计算模板
Dataphin支持创建离线计算模板。后续在开发任务时，可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。背景信息 当多个任务的代码逻辑相似，只有部分配置项或输入参数不同时，您可以将代码...
通过函数计算转存离线日志
通过阿里云的函数计算转存离线日志功能，当CDN产生新的离线日志时，它会触发预设的函数计算逻辑，自动地、无服务器地将这些日志文件传输到对象存储服务（OSS）。这样，无需人工干预或额外运维成本，就能实现日志数据的安全、高效、稳定的...
新建离线计算模板
Dataphin支持创建离线计算模板。后续在开发任务时，可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。背景信息 当多个任务的代码逻辑相似，只有部分配置项或输入参数不同时，您可以将代码...
计算任务概述
更多信息，请参见：离线计算任务属性配置，请参见 离线任务属性配置概述。实时计算任务属性配置，请参见：实时模式配置概述。离线模式配置概述。相关：离线计算任务支持查看计算任务的相关对象，即 当前 计算 任务引用读取的表、引用读取...
计算任务概述
更多信息，请参见：离线计算任务属性配置，请参见 离线任务属性配置概述。实时计算任务属性配置，请参见：实时模式配置概述。离线模式配置概述。相关：离线计算任务支持查看计算任务的相关对象，即 当前 计算 任务引用读取的表、引用读取...
概述
使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、PySpark等。读写MaxCompute Table。引用MaxCompute中的文件资源。读写VPC环境下的服务。例如，RDS、Redis、HBase、ECS上部署的服务等。读写OSS...
概述
数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至MaxCompute。详情请参见 通过LogHub迁移日志数据至MaxCompute...
Job提交后，为什么没有立刻启动？
BatchCompute 是基于共享资源池提供的离线计算服务，Job 提交后会根据优先级获取或者排队等待资源，等待时间依资源池繁忙程度而定。有可能出现 Job 中某些 Instance 获取了资源开始运行，其它 Instance 还在等待的情况。
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。租户开启 实时研发 模块后，系统将根据 离线计算引擎 选择进行...
CDM接口数据层设计规范
本文为您介绍CDM接口数据层设计规范。接口数据层将不同数据域的汇总数据预关联在一个...如果一个汇总表出现混合多个数据域时，表名称中需要使用hbd（hybrid 缩写）进行标识，这种情况当前只用于准实时情况，离线计算不建议跨数据域存储数据。
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
数据资产定级
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
查看数据安全配置
在多方安全分析控制台中，进行数据分析前，需要先确认离线样本的使用限制。离线样本的使用限制取决于原始数据的安全配置。数据安全配置说明 离线样本被授权到多方安全分析项目时，数据所有方会定义离线样本的目标字段是否为关联键或分组键...
数据加工过程卡点校验
随着业务的发展，业务数据库（MaxCompute数据仓库的数据源）会出现数据库扩容或者DDL变更，这些变更都要主动通知到离线开发人员。基于MaxCompute的数据仓库在进行离线数据抽取时，通过DataWorks的数据集成工具，可能会限制某个业务数据库表...
主机替换
已激活主机，必须使主机离线后才可使用该功能，否则已激活的主机将不会出现在被替换的主机列表中。操作步骤 使用支付宝，扫描待替换主机（新主机）机身上的二维码，并使用阿里云账号登录。登录后出现如下图所示的页面，单击 替换主机。单击...
节点类型说明
计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类节点。在线节点 更多详细信息，请参见 在线类节点。流式节点 更多详细信息，请参见 流式类节点。...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
基本概念
离线样本 离线样本是蚂蚁隐私计算服务平台各项目中的原始数据，离线样本被存储在节点上且只支持在节点本地使用。如果需要在项目中使用样本数据，需由节点所属机构的管理员，在管理控制台中将数据授权到项目内。您可以使用离线样本，但无法...
什么是图计算服务
图计算服务Graph Compute是阿里云自主研发的高性能分布式图计算产品，为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、...
快速入门
步骤三 设备导流 本步骤为离线操作步骤，不在VCS控制台进行。阿里云工作人员联系您后会要求您提供设备接入信息，并配合您完成设备接入VCS，同时启动智能视觉计算服务。请在导流和任务上线后尽快完成购买和设备创建的流程，超过24小时未完成...
IDMapping在离线一体化解决方案
首先，配合MaxCompute数仓，基于智能运维系统，将离线计算与在线实时计算结合落地的方案。其次，提供多种业务数据查询能力，可提供向量、倒排、复杂图查询，让业务使用更灵活。最后，基于离线、在线一体化方案，可配合业务自行选择，赋能...
- 产品推荐
- 这些文档可能帮助您