并发数和构建时长
计费规则 流水线是由多个任务组成，而一个任务则是由多个步骤组成 如下图所示，该流水线包含两个任务：Java 构建上传 主机部署 而”Java 构建上传”任务包含两个步骤：Java 构建 构建物上传 Flow 根据 任务 的运行状态来统计企业并发数和...
执行补数据并查看补数据实例（新版）
为避免补数据实例占用过多的资源而影响周期实例运行，平台对补数据实例制定以下规则：如果补数据选择业务日期为昨天（T-1），即补当天数据时，补数据任务优先级由任务所在基线优先级决定。如果补数据选择业务日期为历史业务日期（T-2）时，...
管理流水线
若箭头由任务A指向任务B，则代表A是B的前置任务，B依赖A，A被B依赖，B为依赖方，A为被依赖方。每个任务都可以被多个任务依赖，也可以依赖多个任务。依赖关系可以通过编辑被依赖方的 前置任务 来进行更改。例如，想取消B对A的依赖，可以单击...
管理流水线
若箭头由任务A指向任务B，则代表A是B的前置任务，B依赖A，A被B依赖，B为依赖方，A为被依赖方。每个任务都可以被多个任务依赖，也可以依赖多个任务。依赖关系可以通过编辑被依赖方的 前置任务 来进行更改。例如，想取消B对A的依赖，可以单击...
Ververica Flink实时任务资源自定义
操作步骤 在资源配置页面，为您展示一张拓扑图，图中每个方框代表了一个计算任务，都可以进行独立配置。每个Group代表着Group内部的节点可以存放在一台机器进行计算，可以有效避免数据的网络传播，提升性能。图中当前的资源配置就是系统...
Ververica Flink实时任务资源自定义
操作步骤 在资源配置页面，为您展示一张拓扑图，图中每个方框代表了一个计算任务，都可以进行独立配置。每个Group代表着Group内部的节点可以存放在一台机器进行计算，可以有效避免数据的网络传播，提升性能。图中当前的资源配置就是系统...
什么是专有网络
组成部分 每个专有网络都由至少一个私网网段、一个虚拟路由器和至少一个交换机组成。私网网段 在创建专有网络和交换机时，您需要以CIDR地址块的形式指定专有网络使用的私网网段。您可以使用下表中标准的私网网段及其子网作为VPC的私网网段...
地域和可用区
地域和可用区的关系 一个地域通常由多个可用区组成。只有同一地域内的不同可用区之间内网互通，且使用低时延链路相连。不同地域之间的可用区完全隔离。地域和可用区之间的关系如下图所示。重要 下图中以地域1（包含3个可用区）和地域2...
MySQL分库分表同步至Hologres（方案2.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
周期性调度作业概述
例如，运行一个MaxCompute的SQL任务，新建表并写入表数据，可能会产生MaxCompute的计算和存储费用。网络服务费用：连通DataWorks和其他相关产品的网络环境时，可能会产生网络服务费用。例如，使用高速通道、共享带宽、EIP等产品连通网络时...
诊断网络连通性
网络连通性诊断功能用于诊断云上网络元素之间的网络连通性，方便您了解网络连通情况和定位网络不通的原因。本文介绍网络连通性诊断功能及相关操作。前提条件 使用网络连通性诊断功能前，请确保满足以下条件：如果诊断对象为实例或弹性网卡...
旧版使用场景
您需要确保通过同一个阿里云专有网络VPC可以同时访问两个NAS。若您的NAS设置了访问策略，需允许NAS所在VPC网络中的所有IP访问NAS。ECS迁移至OSS 在线迁移服务支持ECS实例的共享文档数据迁移至OSS，迁移流程如下图所示。说明 您的ECS实例...
执行补数据并查看补数据实例（旧版）
为避免补数据实例占用过多的资源而影响周期实例运行，平台对补数据实例制定以下规则：如果补数据选择业务日期为昨天（T-1），即补当天数据时，补数据任务优先级由任务所在基线优先级决定。如果补数据选择业务日期为历史业务日期（T-2）时，...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
什么是云迁移中心
大数据上云与数据中台建设 针对于企业用户云下的大数据迁移上云来构建云上数仓和数据中台，云迁移中心提供了辅助用户快速新建大量数据迁移任务的工具，自动化完成云下数据源的探查和模型分析，并且批量配置数据迁移上云的任务，一站式管理...
创建普通转码任务
说明 如果提交转码任务后转码状态显示为转码失败，但无法查看失败详情，请检查您的网络状况，确保网络畅通后重新提交任务。使用工作流提交普通转码 登录 媒体处理控制台。在顶部菜单栏左侧选择地域。在左侧导航栏，选择 工作流>工作流编排...
数据集成侧同步任务能力说明
背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
图片审核增强版异步检测API
API功能介绍 图片审核 增强版 API用于识别图像中是否有违反网络内容传播相关规定、影响平台内容秩序、影响用户体验的内容或元素，支持 60+的内容风险标签和 100+的 风险管控项。通过内容安全的图片审核 增强版，您可以根据业务所处的行业...
术语解释
用例集由1个或多个用例组成，同时选择相应的参数匹配不同环境。参数分组 具有相关性的一组参数的集合。参数 指配合脚本使用的传入参数。脚本 指测试用例的执行脚本，包括录制脚本和上传脚本2种类型。录制脚本 通过在线录制功能生成的测试...
计费逻辑说明
DataWorks计费体系由 软件费用 与 资源费用 两部分组成，计费体系中各计费项的计费模式分为 包年包月 与 按量付费 两种计费形式。本文为您介绍DataWorks的计费要点和各功能模块的软件费用详情。注意事项 不同规格、不同云环境（例如，公共...
查看混合云专线流量
云企业网络由如下表所示：目标网段 下一跳 10.1.1.0/24 VBR 192.168.20.0/24 VPC-业务A 192.168.10.0/24 VPC-业务B 步骤五：配置健康检查 您需要配置健康检查，健康检查会以您指定的发包时间间隔发送探测报文，帮助您检查专线的连通性。...
创建训练任务
重要 当前运行 DLC 任务时，需保障任务资源组实例、数据集存储（OSS）在同一地域的VPC网络环境中，且与代码仓库的网络是连通状态。如果数据集配置选择CPFS类型的数据集，需要配置专有网络，且选择的专有网络需要与CPFS一致。否则提交的DLC...
性能测试工具-图形工具
该测试套件同一时间只能运行一个测试集，测试集内部测试任务串行执行。请确保没有并行执行不同测试集的测试任务。该测试套件使用"ahbenchtest-read"与"ahbenchtest-write"两个表作为测试用表。测试过程中可能会删除再创建这两张表。请确保...
网络开通流程
添加安全组：配置安全组：说明 MaxCompute在后续的创建网络通路过程中会默认自动根据带宽需求创建2个ENI，不收取费用，由MaxCompute创建的ENI将位于这个安全组内。在HBase场景，如果用户的HBase无法对某个安全组开放网络权限，您可以将...
错误排查概述
根据 加工原理，数据加工任务的主要四个环节如下图所示。以上每个环节都可能产生错误，其原因、影响和排查方式各不相同。启动加工引擎。该环节产生错误主要是由于在启动加工引擎过程中，检测到用户编写的LOG DSL规则存在错误，导致加工引擎...
通用参考：添加路由
当独享资源组绑定交换机时，会默认为该资源组添加一条路由规则。该路由规则的目标为绑定的交换机所在的VPC网段，以确保该独享资源组可以访问VPC内部的所有数据源。您可以在 自定义路由 对话框中，删除该路由。在 新增路由 对话框中，配置...
创建和管理流日志
日志服务已预设多个网段，如下图所示。当您需要分析不同网段之间的流量情况时，只需一键开启域间分析功能即可。如果预设网段未满足您的需求，您可以自定义添加网段。域间分析 提供以下仪表盘和自定义查询功能：域间流量：展示不同网段之间...
路由到对象存储OSS
按照数据中的某个业务字段分区，此时吞吐速率取决于业务字段取值的数量，例如：prefixV2/{$.data.body.field}/不同的任务建议配置不同的常量前缀，避免多个任务共享相同的分区，写入同一目录下造成数据混乱，无法区分。alikafka_post-...
基本概念
本文介绍任务编排功能...节点实例的状态如下：运行中（RUNNING）暂停（SUSPEND）失败（FAIL）成功（SUCCESS）终止中（KILLING）跳过（SKIPPED）取消（CANCELLED）排队中（QUEUED）任务流 任务流是由多个任务节点组合编排出的任务组...
任务
任务（Task）是MaxCompute的基本计算单元，用户通过编写SQL或者MapReduce程序来表达数据处理的逻辑，然后提交这些程序到MaxCompute服务上执行，MaxCompute会把这些程序转换为一个或多个任务，并在分布式环境中并行执行。对于您提交的大多数...
视频动图完成
DynamicImageJobInfo 动图数据 参数名称 类型 必备项 描述 JobId String 是 动图任务ID。Status String 是 动图任务状态。success：成功。fail：失败。FileURL String 是 动图文件地址。FileSize String 否 动图文件大小，单位：Byte。Fps ...
任务运维
任务列表 显示已创建的所有数据处理任务 显示任务基本信息（任务名称、创建时间、创建人等）显示任务运行状态，详情见下图 任务管理 显示可执行任务的编辑、删除等操作。任务运维 可查看任务的运行及部署/下线日志，进行任务的监控、状态...
项目统计
每一类包含的详细统计报表如下：1、项目概览 由任务总量、今日到期、已逾期、待认领、未完成、已完成、按时完成和逾期完成任务数组成，点击进入某一数字可查看详细任务信息，可以帮助您及时发现问题，管理进度。任务状态停留时间统计是项目...
获取网络可达性分析任务结果
接口说明 GetNetworkReachableAnalysis 接口属于异步接口，即系统会返回一个任务 ID，但该网络可达性分析结果尚未成功获取，系统后台的获取任务仍在进行。您可以查询网络可达性分析任务的状态：当网络可达性分析任务处于 init 状态时，表示...
视频动图
通过视频点播控制台发起截图任务时，只能通过工作流的方式发起，因此，您需要先创建一个包含动图任务的工作流（即在工作流中添加 视频动图 节点，并设置动图模板为 步骤一 中创建的动图模板）。工作流的创建方法，请参见 工作流管理。发起...
使用路径分析
路径可达 下图展示了 VPC 对等连接在互访时，一个 VPC 内 ECS 实例到另一个 VPC 内交换机的路径分析结果，下图表示源 ECS 实例到目的交换机之间路径连通正常，及两个 VPC 之间网络连通性正常，可以访问。单击路径中各个节点右侧的 图标，...
ListDynamicImageJobs-获取动图任务列表
获取动图任务列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
DeleteNetworkAcl-删除网络ACL
接口说明 DeleteNetworkAcl 接口不支持并发删除同一个网络 ACL。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
单机
单机执行表示一个任务实例只会随机触发到一台Worker上，支持所有的任务类型。
功能特性
拓扑任务 一种特殊的任务，由许多通过事件触发的任务组成的集合。任务拓扑本身可以通过 CRON 表达式或者事件触发，但其包含的子任务必须是通过事件触发的，并且通信方式必须是 CALLBACK。任务拓扑中的任务执行流程均从开始节点开始，到结束...
- 产品推荐
- 这些文档可能帮助您