开放平台概览
功能简介 开放API（OpenAPI）DataWorks开放平台的OpenAPI功能为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。您还可以在OpenAPI区域查看...
流程管控
开放平台 如果DataWorks的内置检查项不足以满足您的流程管控需求，您也可以使用开放平台，针对需要管控的事件自行开发校验程序，并将管控流程嵌入数据开发流程中。下文以标准模式工作空间的场景为例，为您介绍这些关键节点的流程管控能力。...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
通用开发流程
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需...
查看数据开发操作记录
进入数据开发DataStudio 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查看操作历史 在数据开发DataStudio左侧边栏点击 图标进入 操作历史 页面，...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
概述
DataWorks为您提供了多个实验教程，帮助您从前期的环境准备、数据采集，到后期的数据开发、结果展示，端到端了解DataWorks使用的全流程，更加熟悉产品的核心功能。综合示例：用户画像分析 本教程通过一个实战案例——网站用户画像分析，全...
ClusterConfig
ide：DataStudio（数据开发）。scheduler.backfill：运维中心-补数据实例。da：数据分析。scheduler.auto：运维中心-周期实例。ide ConfigValue string 配置值。{"spark.driver.memory":"1g"} EnableOverwrite boolean 是否覆盖数据开发中...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。进入管理中心。在左侧导航栏单击 ...
通用参考：切换资源组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏，单击 数据开发，找到目标离线同步...
执行冒烟测试
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作...
代码搜索
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域，单击顶部菜单栏的 图标，进入代码搜索页面。配置搜索条件并查看搜索结果。...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
快速入门
打开Data Studio，默认会...具体请参见：DataWorks OpenLake一站式智能化湖仓一体数据开发 DataWorks Notebook交互式开发与分析 DataWorks Copilot 智能助手动手实践 ③ 如果您不需要每次启动Data Studio时自动显示欢迎页，可在此处取消选中。
表管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面，您可单击 及 ...
参数节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点 通用 参数节点。您也可以打开相应的业务流程，...
RenameNode-重命名数据开发节点
调用此接口，可以重命名数据开发节点。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
Notebook
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发（新版）。单击顶部 个人开发环境·请选择。如果当前登录的云账号是首次使用，是没有个人开发环境的，...
Data Studio概述
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
个人开发环境连接Git仓库
Data Studio新版数据开发支持个人开发环境与Git仓库集成，便于代码版本管理和团队协作。本文将介绍如何在个人开发环境中对远程Git仓库代码进行拉取、新增、修改并上传提交等操作。背景信息 Data Studio支持个人开发环境与远程Git仓库集成，...
数据库节点
附录：适用数据源 DataWorks支持多种多样的数据源创建数据库节点，以下为支持的数据库节点：支持创建数据库节点数据源 数据源类型 数据源简介 MySQL MySQL是用于存储和处理数据的关系型数据库管理系统（RDBMS），是最流行的关系型数据库...
下线任务
通过生产环境运维中心的 周期任务 界面下线的任务，在开发环境将默认回到编辑状态，不会进入回收站，您可在数据开发（DataStudio）界面搜索节点名称查找该节点。任务下线流程 周期调度任务的下线流程如下。步骤一：删除开发环境任务 在数据...
发布任务
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布 创建发布包 界面将操作发布至生产环境，有以下两种...
审批中心概述
功能介绍 在DataWorks上进行数据开发管理的过程中，您可以便捷地对表数据、数据服务API等进行权限管控，进行权限管控时，您可以在 审批中心 自定义审批流程，如果涉及 计算引擎审批策略，也可以使用DataWorks 安全中心 为您提供的默认权限...
MaxCompute函数管理
您可以通过MaxCompute函数面板，查看在MaxCompute计算引擎中存在的函数、函数的变更历史，并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
DeleteNode-删除数据开发节点
调用此接口，可以删除指定的数据开发节点。接口说明 注意 当这个节点被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
数据脱敏能力概述
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品 数据治理 数据保护伞，单击 立即体验，进入数据保护伞。说明 若...
使用节点组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下，双击目标业务流程，进入该业务流程的编辑面板。新建节点组。生成节点组。您...
数据开发常见问题
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...
创建EMR函数
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建业务流程，详情请参见 创建周期业务流程。在本地Java环境编辑程序并生成JAR包后，再新建JAR资源...
DeleteWorkflowDefinition-删除数据开发工作流
调用该接口，在数据开发中删除指定的工作流。接口说明 注意 当这个工作流被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK...
任务调试流程
调试运行单个任务 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击业务流程目录下的目标节点，进入该节点的编辑页面。调试运行任务。在节点编辑页面，使用节点工具栏中的运行或高级运行调试代码逻辑，也可通过快捷运行调试...
产品优势
学习成本低 非技术人员1~2小时即可掌握完整的数据开发、治理流程，告别传统命令行，节省巨大的学习成本。让您可以在同一DAG图中，构建异构计算引擎形成混编任务流（数据同步+SQL+MR+MaxCompute Spark+实时计算+ML），无需分别维护各技术栈...
RenameResource-重命名数据开发文件资源
调用此接口，可以对数据开发文件资源进行重命名。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
MoveNode-移动数据开发节点路径
调用此接口，可以将指定的数据开发节点的路径移动到指定位置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
创建手动任务
您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时...
配置MaxCompute输出
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点 数据集成 实时同步。您也可以展开业务流程，右键单击目标业务流程...
- 产品推荐
- 这些文档可能帮助您