入门概述
本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks，请确认已经根据 准备工作 模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的 进入数据开发，即可进行...
功能发布记录（2024年）
您在数据开发和数据分析中执行SQL语句查询数据时，若该数据被识别为敏感数据，平台将会按照脱敏规则进行遮盖、加密等模式的脱敏展示，加强企业数据安全管控。2024.1.25 所有地域 所有DataWorks用户 数据脱敏能力概述 数据保护伞概述 数据...
DataWorks V2.0
DataWorks V2.0支持双工作空间开发，隔离开发和生产环境，保证数据研发规范，减少错误代码的出现。已升级DataWorks V2.0区域 目前所有区域均升级至DataWorks V2.0版本。DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频，对...
注册CDH或CDP集群至DataWorks
以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，您可在DataWorks中注册CDH及CDP集群，进行任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理操作。背景信息 CDH是Cloudera的开源平台...
空间级模块权限管控
开发 该角色负责数据开发和维护工作，即在 数据开发 模块进行节点的开发与维护。说明 如果需要进行数据开发，您需要授予RAM用户开发或空间管理员角色权限。如果需要拥有发布权限，您需要授予RAM用户运维或空间管理员角色权限。运维 该角色...
透视分析：按研发链路
支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并...
搭建茶园监控应用概述
通过使用物联网应用开发（IoT Studio）平台的Web可视化开发和业务逻辑开发工具，开发一个茶园的环境监控大屏。应用用户可在监控大屏中，查看在指定时间内，设备上报的温度值折线图。设计思路 先在业务逻辑开发工作台，创建三个服务，分别是...
数据源开发和生产环境隔离
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置不同的数据源信息。在同步任务执行过程中，可由执行环境控制离线同步任务所...
构建数据仓库
数据开发：基于DataWorks进行数据全链路研发，包括数据集成、数据开发和ETL、转换及计算等开发，以及数据作业的调度、监控、告警等。DataWorks提供数据开发链路的安全管控的能力，以及基于DataWorks数据服务模块提供统一数据服务API能力。...
必读：简单模式和标准模式的区别
绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：操作...
HoloStudio快速入门
说明 Hologres在标准DataWorks工作空间分开发环境和生产环境，但由于当前HoloStudio暂不支持环境切换，导致生产环境的数据在HoloStudio不可查询，建议开发和生产绑定同一个DB。已有工作空间 如果您已创建DataWorks工作空间，可以直接使用该...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
实现开发生产等多套环境隔离
在相应的数据目录中创建数据库，建议开发、生产的数据目录下的数据库名称相同，指向的OSS路径不同，方便后续的迁移工作。EMR集群的环境隔离 分别设置2个EMR集群中各个引擎的catalog信息，保证EMR开发环境的集群引擎使用上述创建的开发环境...
创建IBM DB2数据源
类型 支持公网数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。ECS(VPC)自建数据库：您在阿里云ECS上自建的数据库。支持VPC方式访问。VPC网络访问数据库需配置以下...
数据开发与运维中心：数据加工
DataStudio提供隔离的开发和生产环境，结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据开发。运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。核心技术与架构 高效...
创建并管理数据源
例如，执行离线同步任务时，可由运行环境控制任务所访问的数据库地址（配置生产、开发数据源对应不同数据库），使开发环境和生产环境的数据隔离。说明 简单模式工作空间仅拥有一个环境，无法做到开发、生产隔离。关于工作空间模式的介绍，...
创建AnalyticDB for MySQL3.0数据源
前提条件 已购买AnalyticDB for MySQL3.0实例并创建数据库，详情请参见 创建实例、创建数据库。说明 建议购买AnalyticDB for MySQL3.0实例时，地域 与创建AnalyticDB for MySQL3.0数据源的DataWorks工作空间地域一致。若地域不一致，则只能...
快速体验
原始数据存储：云数据库 RDS MySQL（必选），本实验中DataWorks为您提供了阿里云RDS MySQL用于测试，包含了测试数据，无需您自己开通。数据传输：大数据开发治理平台 DataWorks数据集成（必选），基础版DataWorks已包含数据集成功能。大...
SQL Server节点
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
PostgreSQL节点
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
StarRocks
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
开发前准备：绑定数据源或集群
前提条件 您需根据后续要开发和调度的任务类型，提前创建好对应的数据源或集群。该数据源或集群需参考本文绑定至数据开发（DataStudio）。数据开发（DataStudio）支持绑定的数据源或集群如下：创建MaxCompute数据源 创建Hologres数据源 ...
创建并使用AnalyticDB for PostgreSQL节点
DataWorks的AnalyticDB for PostgreSQL节点可进行AnalyticDB for PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for PostgreSQL节点进行任务开发的主要流程。前提条件 已购买DataWorks标准版及...
权限管理与规范化数据开发
生产开发数据源 DataWorks支持基于标准模式工作空间对应的两个环境这一特性，来分别为这两个环境配置不同的数据库访问地址。即您可以在数据源配置界面分别为开发环境（DataStudio）测试运行时和生产调度时指定不同的数据库访问地址。同一个...
AnalyticDB for MySQL
DataWorks的AnalyticDB for MySQL节点可进行AnalyticDB for MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用AnalyticDB for MySQL节点进行任务开发的主要流程。前提条件 已购买相应版本服务。购买DataWorks标准...
Oracle节点
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
创建Hologres数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买Hologres实例并创建数据库。操作详情请参见 购买Hologres、创建数据库。说明 建议购买Hologres实例时...
ClickHouse SQL
DataWorks的ClickHouse SQL节点可进行ClickHouse SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用ClickHouse SQL节点进行任务开发的主要流程。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行...
创建IBM DB2数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
DataWorks On CDP/CDH使用说明
费用 说明 数据库费用 数据同步时，读写上下游数据库中的数据时，可能会产生数据库费用。计算和存储费用 运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。网络服务费用 连通DataWorks和其他相关产品的网络环境时，可能会产生网络...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
使用内建函数
背景信息 为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，对于内建函数，您无需关注函数内部的实现逻辑，可直接进行调用。您可以根据需要从不同维度快速...
工作空间概述
工作空间是DataWorks中进行任务开发和成员权限管理的基本单元。本文将为您介绍工作空间的概念、类型及基本操作。工作空间概述 所有开发工作都将在DataWorks自定义的工作空间内完成，一个工作空间支持绑定多个类型的计算引擎实例，例如：...
文档修订记录
您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 2024.2.6 更新功能 数据保护伞 数据保护伞新版系统...
快速体验
云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本案例中用于存储网站访问记录数据，案例已默认提供该OSS数据源基本信息，您无需单独开通该服务。涉及模块 ...
MaxCompute数据离线同步至ClickHouse
背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到其他目标端，也支持从其他目标端同步数据到ClickHouse。本文以MaxCompute离线同步写入ClickHouse为例，为您介绍ClickHouse离线同步的完整...
创建EMR Hive节点
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 EMR Hive 节点。鼠标悬停至 图标，选择 新建节点>EMR>EMR Hive。您也可以找到相应的业务流程，右键单击业务流程，...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
创建CDH Spark节点
DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍如何创建及使用CDH Spark节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎...
创建CDH Hive节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH Hive。说明 鼠标悬停至顶部 新增 按钮，根据界面提示...
- 产品推荐
- 这些文档可能帮助您