权限管理与规范化数据开发
其中生产环境的MaxCompute访问身份即调度访问身份，是开发任务发布到生产环境进行周期性调度运行时所使用的身份，通常情况下为保证调度任务顺利进行，比起开发者自己的身份来，调度访问身份往往拥有较大数据范围读写权限。生产环境...
数据开发
本文从需求分析、规划业务流程、规划表管理、同步数据以及加工数据几方面，为您介绍数据开发。需求分析 将MySQL的数据采集到MaxCompute 贴源层表中，进行清洗和加工，产出最终的概览应用表。规划业务流程 业务流程是DataWorks针对业务实体...
其他问题
本文介绍数据开发的其他常见问题。为何周期调度中某个节点的实例实际运行时间和计划时间有差异？当两个节点的调度周期不同时，即上游节点5分钟调度一次，下游节点20分钟调度一次，下游节点如何获取数据？为何周期调度中某个节点的实例实际...
功能发布记录 2022年之前
您可以购买该功能模块，将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化输出，在数据全生命周期上夯实数据基础，为数据价值化提供有力支撑。2021.02.20 全部地域。DATABLAU数据建模计费标准 ...
发布任务
标准模式工作空间提交任务后，任务仅在开发环境生效，开发环境中的任务不进行自动调度，您需要通过任务发布流程，将任务发布至生产环境后，任务才会周期调度运行。说明 在数据开发界面提交的操作都将进入任务发布界面处于待发布状态，您...
SQL 计划任务
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）支持定时周期性执行用户创建的 SQL 脚本，以满足周期性执行用户所需的数据库开发和运维任务，例如周期性执行存储过程、备份和做库表结构同步等。用户在 工单 创建 SQL ...
查看及管理离线计算任务列表
批量转交开发负责人 支持同时转交多个计算任务的开发负责人为其他开发负责人。批量调度配置 支持同时修改多个计算任务的调度配置信息。批量调度配置仅对周期任务生效；批量配置后，选中的周期任务原有的调度属性配置将被覆盖，请谨慎操作；...
查看及管理离线计算任务列表
批量转交开发负责人 支持同时转交多个计算任务的开发负责人为其他开发负责人。批量调度配置 支持同时修改多个计算任务的调度配置信息。批量调度配置仅对周期任务生效；批量配置后，选中的周期任务原有的调度属性配置将被覆盖，请谨慎操作；...
下线任务
通过生产环境运维中心的 周期任务 界面下线的任务，在开发环境将默认回到编辑状态，不会进入回收站，您可在数据开发（DataStudio）界面搜索节点名称查找该节点。任务下线流程 周期调度任务的下线流程如下。步骤一：删除开发环境任务 在数据...
调度设置
若您的任务需要周期性运行，则在配置任务的调度属性前，需先进入DataStudio的调度设置页面开启调度功能，开启后，周期任务的调度配置才会生效。同时，DataWorks支持设置周期任务默认使用的资源组，支持设置任务的默认重跑属性、重跑次数、...
通用参考：切换资源组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏，单击 数据开发，找到目标离线同步...
下线节点
解决方案：确认待下线任务的下游依赖：您可前往开发环境运维中心和生产环境运维中心的周期任务界面，分别确认该任务开发环境和生产环境是否存在下游依赖关系。详情请参见 查看周期任务DAG图。移除待下线任务的下游依赖：进入下游依赖任务的...
透视分析：按研发链路
包括DataWorks调度任务等待耗时与运行耗时7天均值、等待耗时与运行耗时波动率、节点负责人、任务运行耗时、等待资源耗时、调度使用资源组、任务执行环境（开发、生产）、任务类型（周期实例、补数据实例等）等多维度信息。
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
开发阶段
您在完成需求评审、模型与调度设计后，即可进入数据开发阶段。开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中，开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试，以便后续测试工作可以顺利开展。开发阶段...
创建并使用PAI DLC节点
为避免使用DataWorks周期性调度DLC节点在PAI产生较多不易区分的同名任务，建议在DataWorks开发DLC任务时根据实际需要合理设置调度周期，同时，建议在任务名称中增加日期时间变量，并通过调度配置为该变量赋值时间调度参数，实现任务命名...
接入方式介绍
该框架直接接管应用的生命周期，负责整个应用 启动托管、应用生命周期管理。同时基于 Framework 的设计思想，将业务隔离成相对独立的模块，着力于追求模块之间的高內聚、低耦合。参考 mPaaS 框架介绍 获取更多信息。您可以快速搭建一个基于...
模型管理
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>维度建模。在 维度建模 页面单击 图标，进入 模型列表。查看模型列表及...
周期性调度
为避免使用DataWorks周期性调度DLC节点在PAI产生较多不易区分的同名任务，建议在DataWorks开发DLC任务时根据实际需要合理设置调度周期，同时，建议在任务名称中增加日期时间变量，并通过调度配置为该变量赋值时间调度参数，实现任务命名...
函数实例生命周期
函数计算 基于实例生命周期增加多种回调操作，有效解决传统应用迁移至Serverless架构时遇到的指标数据延迟或丢失等痛点。本文介绍 函数计算 的运行时扩展功能原理、如何配置PreFreeze和PreStop回调函数及回调函数日志查询。背景信息 传统...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
创建EMR函数
新建业务流程，详情请参见 创建周期业务流程。在本地Java环境编辑程序并生成JAR包后，再新建JAR资源，并提交发布。详情请参见 创建和使用EMR资源。新建函数。打开相应的业务流程，右键单击 EMR，选择 新建函数。在 新建函数 对话框中，输入...
什么是DSW
DSW 提供丰富的异构计算资源，支持挂载OSS、NAS、CPFS类型的数据集，预置了多种开源框架的镜像，支持实例的生命周期管理，实现开箱即用的高效开发模式。快速入门 您可以参考如下视频，快速了解 DSW 支持的主要功能。功能特性 一站式服务 ...
查看及管理离线集成任务列表
转交开发负责人 可将当前离线集成任务的开发负责人变更为其他开发负责人。去发布 可跳转到发布中心对该离线集成任务进行发布。发布计算任务，详情请参见 管理发布任务。去运维 可跳转到运维中心对该离线集成任务进行运维管理操作。详情请...
查看及管理离线集成任务列表
转交开发负责人 可将当前离线集成任务的开发负责人变更为其他开发负责人。去发布 可跳转到发布中心对该离线集成任务进行发布。发布计算任务，详情请参见 管理发布任务。去运维 可跳转到运维中心对该离线集成任务进行运维管理操作。详情请...
CreateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖“选择”同周期“时的”父节点输出名称”对应。ProjectIdentifier String 否 dw_project DataWorks工作空间的名称。您可以登录 DataWorks控制台，进入工作空间配置页面获取...
UpdateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖“选择”同周期“时的”父节点输出名称”对应。ProjectIdentifier String 否 dw_project DataWorks工作空间的名称。您可以登录 DataWorks控制台，进入工作空间配置页面获取...
GetFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”选择“同周期”时的“代码解析”对应。Owner String 7775674356*文件责任人的阿里云用户ID。CreateTime Long 1593879116000 文件创建的时间戳，单位为毫秒。FileType ...
GetIDEEventDetail
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖“选择”同周期“时的“本节点的输出名称”列值对应。DependentType String USER_DEFINE 依赖上一周期的方式。取值如下：SELF：依赖项选择本节点。CHILD：依赖项选择一级子...
配置并使用调度参数
单击 图标，在 开发环境测试 对话框配置业务时间，模拟节点的调度周期。业务时间配置如下：业务日期：2022-03-09 开始时间：16：00 结束时间：17：00 ODPS SQL任务为小时调度任务，则该任务在 2022-03-10 的 16：00、17：00 时间会生成两个...
执行冒烟测试
在 运维中心 页面左上角切换到开发环境运维中心后，在左边导航栏单击 周期任务运维>周期任务。然后右键单击相应节点，在提示框中单击 测试。配置冒烟测试参数 通过上述入口进入冒烟测试界面后，您需要在界面配置中选择冒烟测试的业务日期。...
时间属性配置说明
时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
创建并使用PAI Designer
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
基于MaxCompute实现拉链表
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建业务流程。鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 ...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
调度运维权限列表
周期任务 脚本任务权限说明 权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 展开父/子节点 Y Y Y Y Y N 查看节点代码 Y Y Y Y Y N 编辑开发节点（仅dev-prod)/编辑节点（basic）Y Y Y N N N 查看生产节点（仅dev-...
调度运维权限列表
周期任务 脚本任务权限说明 权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 展开父/子节点 Y Y Y Y Y N 查看节点代码 Y Y Y Y Y N 编辑开发节点（仅dev-prod)/编辑节点（basic）Y Y Y N N N 查看生产节点（仅dev-...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
- 产品推荐
- 这些文档可能帮助您