数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
数据开发流程引导
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
查看操作记录
在数据开发DataStudio界面中，您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选，查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录：任务责任人变更操作、任务调度属性变更操作、任务及...
概述
DataWorks为您提供了多个实验教程，帮助您从前期的环境准备、数据采集，到后期的数据开发、结果展示，端到端了解DataWorks使用的全流程，更加熟悉产品的核心功能。综合示例：用户画像分析 本教程通过一个实战案例——网站用户画像分析，全...
ClusterConfig
ide：DataStudio（数据开发）。scheduler.backfill：运维中心-补数据实例。da：数据分析。scheduler.auto：运维中心-周期实例。ide ConfigValue string 配置值。{"spark.driver.memory":"1g"} EnableOverwrite boolean 是否覆盖数据开发中...
数据服务入门
进入数据服务 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。操作流程 步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，需先将您的...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
DataStudio常见问题
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...
通用参考：切换资源组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏，单击 数据开发，找到目标离线同步...
表管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面，您可单击 及 ...
参数节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点 通用 参数节点。您也可以打开相应的业务流程，...
代码搜索
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域，单击顶部菜单栏的 图标，进入代码搜索页面。配置搜索条件并查看搜索结果。...
Data Studio概述
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
RenameNode-重命名数据开发节点
调用此接口，可以重命名数据开发节点。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
数据库节点
附录：适用数据源 DataWorks支持多种多样的数据源创建数据库节点，以下为支持的数据库节点：支持创建数据库节点数据源 数据源类型 数据源简介 MySQL MySQL是用于存储和处理数据的关系型数据库管理系统（RDBMS），是最流行的关系型数据库...
下线任务
通过生产环境运维中心的 周期任务 界面下线的任务，在开发环境将默认回到编辑状态，不会进入回收站，您可在数据开发（DataStudio）界面搜索节点名称查找该节点。任务下线流程 周期调度任务的下线流程如下。步骤一：删除开发环境任务 在数据...
发布任务
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布 创建发布包 界面将操作发布至生产环境，有以下两种...
审批中心
功能介绍 在DataWorks上进行数据开发管理的过程中，您可以便捷地对表数据、数据服务API等进行权限管控，进行权限管控时，您可以在 审批中心 自定义审批流程，如果涉及 计算引擎审批策略，也可以使用DataWorks 安全中心 为您提供的默认权限...
配置数据脱敏规则
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品 数据治理 数据保护伞，单击 立即体验，进入数据保护伞。说明 若...
Notebook
准备工作 已创建工作空间，并选择参加数据开发（Data Studio）（新版）公测。新建Serverless资源组，详情请参见 使用Serverless资源组。步骤一：创建个人开发环境实例 Notebook开发依赖于个人开发环境实例，所以在创建Notebook前，需提前...
使用节点组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下，双击目标业务流程，进入该业务流程的编辑面板。新建节点组。生成节点组。您...
创建EMR函数
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建业务流程，详情请参见 创建周期业务流程。在本地Java环境编辑程序并生成JAR包后，再新建JAR资源...
个人开发环境连接Git仓库
Data Studio新版数据开发支持个人开发环境与Git仓库集成，便于代码版本管理和团队协作。本文将介绍如何在个人开发环境中对远程Git仓库代码进行拉取、新增、修改并上传提交等操作。背景信息 Data Studio支持个人开发环境与远程Git仓库集成，...
任务调试流程
调试运行单个任务 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击业务流程目录下的目标节点，进入该节点的编辑页面。调试运行任务。在节点编辑页面，使用节点工具栏中的运行或高级运行调试代码逻辑，也可通过快捷运行调试...
产品优势
学习成本低 非技术人员1~2小时即可掌握完整的数据开发、治理流程，告别传统命令行，节省巨大的学习成本。让您可以在同一DAG图中，构建异构计算引擎形成混编任务流（数据同步+SQL+MR+MaxCompute Spark+实时计算+ML），无需分别维护各技术栈...
配置MaxCompute输出
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点 数据集成 实时同步。您也可以展开业务流程，右键单击目标业务流程...
创建手动任务
您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时...
DeleteWorkflowDefinition-删除数据开发工作流
调用该接口，在数据开发中删除指定的工作流。接口说明 注意 当这个工作流被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK...
RenameResource-重命名数据开发文件资源
调用此接口，可以对数据开发文件资源进行重命名。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
MoveNode-移动数据开发节点路径
调用此接口，可以将指定的数据开发节点的路径移动到指定位置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
DeleteFunction-删除数据开发函数
调用该接口，在数据开发中删除指定的udf函数。接口说明 注意 当这个 udf 函数被发布后，无法删除，必须先下线再进行删除。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
回收站
删除对象是否进入回收站具体策略如下：进入回收站 不进入回收站 在Data Studio如下位置中删除的对象会进入回收站：数据开发：项目目录 中删除的 节点 和 工作流。手动：手动工作流、手动任务 中删除的 工作流 和 节点。组件：项目组件管理 ...
RenameWorkflowDefinition-重命名数据开发工作流
调用此接口，可以重命名数据开发工作流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填...
编辑器代码提效
进入编辑器界面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入节点的代码编辑器。在数据开发页面的左侧目录树查找目标节点，双击节点名称即可...
MoveWorkflowDefinition-移动数据开发工作流路径
调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
MoveResource-移动数据开发文件资源路径
调用此接口，可以将指定数据开发文件资源移动到指定的数据开发目录中。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息...
基于模型生成ETL代码
维度表、明细表、汇总表等模型表发布后，DataWorks智能数据建模的模型开发功能支持快速生成代码框架，帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布，操作详情请参见 发布模型至引擎...
- 产品推荐
- 这些文档可能帮助您