数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
入门概述
本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks，请确认已经根据 准备工作 模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的 进入数据开发，即可进行...
发布中心概述
本文为您介绍发布中心的应用场景、逻辑说明、发布流程等内容。应用场景 基于不同的发布环境，DataWorks的发布中心可分为 跨工作空间发布 和 跨云发布 两种场景，具体如下：跨工作空间发布 跨工作空间发布为原跨项目克隆功能，主要用于同...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
概述
除此之外，数据工程师、算法工程师和开发工程师的人力成本也是当前数据驱动的智能决策应用难以大规模落地的一个阻碍。事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以...
如何分配开发任务
如果要取消某个成员的开发权限，则只需要在开发者管理操作中，删除已分配的成员即可，他之前对该应用的代码和开发部署权限也相应被回收。开发成员登录 开发成员使用自己的团队账号（可以是独立的阿里云账号，也可以是某个子账号，取决于该...
新建自定义数据源
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 选择数据源所属的标签分类。非必选。链接地址 填写数据库的链接地址。如 jdbc:mysql:/host:port/dbname。用户名 填写登录数据库的用户名。...
新建自定义数据源
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 选择数据源所属的标签分类。非必选。链接地址 填写数据库的链接地址。如 jdbc:mysql:/host:port/dbname。用户名 填写登录数据库的用户名。...
用户授权与管理
角色规划 使用数据建模并应用至数据开发的过程中，通常需要进行定义标准、数据建模、数据开发、部署运维等任务，下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限 建议您参考 ...
快速体验
数据开发与调度：大数据开发治理平台 DataWorks数据开发（必选）、DataWorks运维中心（必选），基础版DataWorks已包含数据开发和运维中心功能。数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据...
示例项目简介
示例：模型设计 实验：新建模型 三、开发和部署中心应用 您将作为团队的研发人员的角色，了解如何基于设计好的模型进行开发和部署，具体包括中心应用和版本、脚手架生成和开发、应用部署。示例：开发中心应用 实验：创建用户上下文的中心...
开发者指南概述
JVM-D启动配置参数 应用测试和联调 您可以在应用开发过程中，测试应用的可行性，并且实现本地应用和云端应用的相互调用。功能 文档 服务测试 测试Spring Cloud服务 测试Dubbo服务 自动化回归测试 自动化回归Spring Cloud服务的测试用例 ...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
应用评估
迁移分组评估结果 迁移分组是迁移数据库包含的应用的最小子集，迁移单个应用分组不会对其他分组的数据库节点产生数据依赖。迁移分组包括 应用节点 以及 数据库节点。单击应用节点可以查看单个应用节点的评估改造内容。单应用评估主要分为...
通过Prometheus监控获取ARMS应用监控数据
阿里云 可观测监控 Prometheus 版 默认集成了ARMS应用监控数据源，您可以直接在 可观测监控 Prometheus 版 下获取应用监控相关数据、查看应用监控预置大盘，并根据需求进行二次开发。前提条件 已为应用安装探针，具体操作，请参见 应用监控...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
数据服务
面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。已根据快速入门教程...
大数据安全治理的难点
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
采集数据
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标 将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
必读：简单模式和标准模式的区别
附录：不同工作空间模式下，DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 ...
数据开发与运维中心：数据加工
DataStudio提供隔离的开发和生产环境，结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据开发。运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。核心技术与架构 高效...
采集数据
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标 将MySQL存储的用户基本信息及OSS存储的网站访问日志，通过数据集成服务将数据同步至...
创建CDH Spark节点
DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍如何创建及使用CDH Spark节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎...
项目
项目是物联网应用开发（IoT Studio）中多个应用、服务和物联网平台资源（产品、设备、数据资产等）的集合。同一个项目内的不同应用或服务共享资源。不同项目之间的应用、服务和资源都相互隔离，互不影响。重要 阿里云物联网平台新用户不...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
数据保护伞入门
进入数据保护伞 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据治理>数据保护伞。单击 立即体验，即可进入数据保护伞首页。您...
ADAM概览
异构数据库迁移ADAM（Advanced Database&Application Migration）提供数据库平滑迁云解决方案，全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，覆盖数据库迁移的全生命周期，帮助企业降低数据库和应用...
基本概念
产品名词解释 名词 描述 IoT Studio 物联网应用开发（IoT Studio）是阿里云物联网平台的一部分，提供了Web可视化开发、移动可视化开发、业务逻辑开发与物联网数据分析等一系列便捷的物联网开发工具。Web可视化开发 IoT Studio提供的开发...
搭建茶园监控应用概述
通过使用物联网应用开发（IoT Studio）平台的Web可视化开发和业务逻辑开发工具，开发一个茶园的环境监控大屏。应用用户可在监控大屏中，查看在指定时间内，设备上报的温度值折线图。设计思路 先在业务逻辑开发工作台，创建三个服务，分别是...
子账号使用DataWorks
开发 负责数据开发页面的设计和维护工作。运维 负责在运维中心页面管理全部任务的运行情况并进行相应处理。部署 仅在多工作空间模式时审核任务代码并决定是否提交运维。访客 仅有只读权限，可以查看数据开发页面的业务流程设计和代码内容。...
基本概念
D 多模 云原生多模数据库 Lindorm 支持宽表、时序、对象、文件、队列、空间等多种数据模型，提供标准SQL和开源接口两种方式，各数据模型之间数据互融互通，使得应用开发更加敏捷、灵活和高效。DMS 数据管理（Data Management Service，简称...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
接口
重要 只有关联到项目的数据服务资产，才能在项目内的应用和业务逻辑开发中访问和使用。关联数据资产的具体操作，请参见 数据资产。数据服务接口的每秒请求数（QPS）最大限制为1。更多信息，请参见 API调用相关限制。自定义接口：调用开发者...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
- 产品推荐
- 这些文档可能帮助您