数据资产治理
数据资产治理（原数据治理中心）可根据预先配置的治理计划，自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理...
UpdateResource-更新数据开发文件资源信息
调用此接口，可以更新数据开发文件资源的基本信息。更新以增量更新的方式进行，更新信息以FlowSpec格式描述。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例...
创建EMR Presto节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建EMR Presto节点。右键单击目标业务流程，选择 新建节点 EMR EMR Presto。说明 您也可以鼠标悬停...
场景教程
数据集成 数据开发 简单开发应用教程 本教程将指引您完成一个完整的数据开发和周期调度运维操作，适用于各种数据开发场景。MaxCompute 数据集成 数据开发 运维中心 数据分析与可视化 相关教程 说明 教程使用的计算引擎 涉及模块 使用公开...
开放平台：能力全面开放
DataWorks开放平台是DataWorks对外提供数据和能力的开放通道。DataWorks开放平台提供开放API（OpenAPI）、开放事件（OpenEvent）、扩展程序（Extensions）的能力，可以帮助您快速实现各类应用系统对接DataWorks、方便快捷的进行数据流程...
Shell类型节点运行Python脚本
在数据开发页面右键单击目标业务流程，选择 新建资源，在 MaxCompute 目录下选择 Python 资源，输入资源名称 mc.py 进行创建。说明 mc.py 为示例资源名称，您可根据实际业务情况进行调整。编辑MaxCompute Python资源。进入MaxCompute ...
调用API
查看API调用的认证信息 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。在数据服务页面，单击上方的 服务管理。在左侧导航栏，单击 API调用。在 API...
创建EMR Impala节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建EMR Impala节点。右键单击目标业务流程，选择 新建节点 EMR EMR Impala。说明 您也可以鼠标悬停...
DeleteNode-删除数据开发节点
调用此接口，可以删除指定的数据开发节点。接口说明 注意 当这个节点被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
工作空间管理
后续：开始数据开发 创建工作空间并分配空间成员角色权限后，您可根据各角色定义的权限前往数据开发DataStudio模块开始数据开发工作，数据开发模块的入门教程详情请参见：数据开发：开发者。相关文档 在阅读工作空间的概述后，若您想创建...
RenameFunction-重命名数据开发函数
10002 Id long 是 数据开发 udf 函数的唯一标识。543217824470354*Name string 是 希望重命名的名称 重命名 返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求的唯一标识，用于后续错误排查使用。1ED4C97F-...
创建解决方案
数据开发模式全面升级，包括工作空间 解决方案 业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
配置治理项
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据资产治理，然后在右侧单击 进入数据资产治理。单击左侧导航栏 系统设置 治理设置 治理项，进入 治理项配置 页面。在 治理项配置 页面，您可以通过 研发、...
CreateResource-创建数据开发文件资源
调用此接口，可以在数据开发中创建一个数据开发文件资源，文件资源的信息定义以FlowSpec格式描述。接口说明 注意 该接口不支持批量操作，若 FlowSpec 中定义了不止一个资源文件，则除第一个以外的后续资源文件均会被忽略。调试 您可以在...
DeleteResource-删除数据开发文件资源
调用此接口，可以删除指定的数据开发文件资源。接口说明 注意 当这个文件资源被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
创建AnalyticDB for PostgreSQL表
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建表 AnalyticDB for PostgreSQL 表。您也可以打开相应...
配置基础属性
进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 基础属性 区域配置调度节点的基本信息。参数 描述 名称 新建数据开发节点时输入的节点名称，不可以修改。节点ID 数据开发节点提交后会生成唯一的节点ID，不可以修改。节点类型 ...
调试代码片段：快捷运行
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树，或通过 临时查询...
配置Hologres输出
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点 数据集成 实时同步。您也可以展开业务流程，右键单击目标业务流程...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
扩展程序审批策略
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品 更多 审批中心。在左侧导航栏选择 审批策略管理 扩展程序。创建...
使用公开数据集进行数据查询、分析和可视化
静态数据 生活服务 杭州市各区县旅游数据 本数据集来源于杭州文化和旅游数据在线开放平台（数据日期更新至2023.07.18），包含每日杭州市各区县的消费人数、消费金额和酒店入住率等旅游相关指标，可以在出游场景中快速分析各区县的出行情况...
开发阶段
您在完成需求评审、模型与调度设计后，即可进入数据开发阶段。开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中，开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试，以便后续测试工作可以顺利开展。开发阶段...
配置示例：MaxCompute
单击当前页面左上方的 图标，选择 全部产品 数据开发与运维 DataStudio（数据开发）。在数据开发页面左侧导航栏，单击计算资源，绑定已添加的MaxCompute计算资源。说明 本示例使用的测试表中添加的测试数据来自MaxCompute 公开数据集，实际...
DataWorks新版数据源公告
若想使用创建的数据源进行数据开发，则数据源创建完成后还需进入数据开发（DataStudio）进行模块绑定。已绑定的计算引擎：已绑定的计算引擎迁移至 计算资源 进行管理。编辑计算引擎：不再支持直接编辑计算引擎，如需编辑可通过编辑数据源来...
创建并管理业务流程
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。在 服务开发 页面，鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，配置各项参数...
数据地图
说明 如果需要在 数据开发 中 表管理 进行可视化建表操作，请先在数据地图进行元数据采集，可视化建表操作请参见 表管理。网络连通 如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理，需要先确保数据地图元数据采集器能正常...
查看代码结构
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入目标节点的编辑页面。您可以在 数据开发 或 手动业务流程 的目录树下，找到目标节点，双击该...
UpdateWorkflowDefinition-更新数据开发工作流信息
调用此接口，可以更新数据开发工作流基本信息。更新以增量更新的方式进行，更新信息以FlowSpec格式描述。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
数据落标
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。单击上方导航栏内的 维度建模 进入维度建模页面，选择需要配置数据落标的表，双击表名称进入表详情...
UpdateNode-更新数据开发节点信息
调用此接口，可以更新数据开发节点信息。更新通过增量更新的方式进行，更新的信息通过FlowSpec进行描述。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
配置数据脱敏
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点 数据集成 实时同步。您也可以展开业务流程，右键单击目标业务流程...
创建CDH Spark节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点 CDH CDH Spark。在 新建节点 对话窗中，配置节点的引擎实例、...
系统管理
背景信息 建表策略管理：是否允许用户在没有数据模型的情况下，可在数据开发（DataStudio）直接创建MaxCompute物理表。策略启用后，凡是未通过智能数据建模发布，直接在数据开发（DataStudio）创建或修改的MaxCompute物理表，在执行提交、...
运维阶段
背景信息 数据开发人员主要需要处理以下事项：程序异常处理、性能优化。调度异常处理。数据质量监控规则异常分析、规则优化。数据异常的核查。运维阶段的流程包括分析影响、制定与实施方案和验证实施方案。操作步骤 分析影响。运维人员或...
配置治理单元
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据资产治理，然后在右侧单击 进入数据资产治理。单击左侧导航栏 系统设置 治理设置 治理单元，进入 治理单元 页面。单击 新建，配置治理单元的相关参数。参数 ...
应用示例：数据开发过程触发事件检查
在DataWorks开放平台，成功注册、上线并启用扩展程序后，在该扩展程序所生效的工作空间中，使用页面部分功能（即触发扩展点事件）时，DataWorks会将事件消息发送至您的扩展程序，根据扩展程序返回的结果，您可以决定该操作是否生效。...
支持的节点类型
DataWorks的数据开发（DataStudio）模块提供多种节点，包括数据集成节点、计算资源节点（如ODPS SQL、Hologres SQL、EMR Hive）和通用节点（如虚拟节点、Check节点），以满足您不同的数据处理需求。重要 如果您在数据开发中无法创建某个...
CreateFunction-创建数据开发函数
调用此接口，可以在数据开发中创建一个udf函数。udf函数信息以FlowSpec格式描述。接口说明 注意 该接口不支持批量操作，若 FlowSpec 中定义了不止一个 udf 函数，则除第一个以外的后续函数均会被忽略。调试 您可以在OpenAPI Explorer中直接...
MoveFunction-移动数据开发函数路径
调用此接口，可以将指定udf函数移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
- 产品推荐
- 这些文档可能帮助您