DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
云计算资源类型
本文介绍数据开发中支持使用的云计算资源类型。节点模式 支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job Hologres PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source ...
云计算资源类型
本文介绍数据开发中支持使用的云计算资源类型。节点模式 支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source HiveStorage...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权，并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情，请参见 安全模型。
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
导入MongoDB数据
说明 如果迁移过程中需要对某些数据进行处理，例如对MongoDB数据中主键进行MD5散列，需要按照如下步骤操作：通过DataWorks将MongoDB数据迁移至MaxCompute（ODPS）。在MaxCompute（ODPS）上执行SQL处理数据。通过DataWorks将MaxCompute数据...
MaxCompute函数管理
通过MaxCompute客户端、MaxCompute Studio等非DataWorks方式上传的函数，您可以在MaxCompute函数面板进行查看，但不会显示在 数据开发 中。删除函数 如果您需要删除函数，请切换至 数据开发 面板，右键单击相应业务流程下的函数名称，单击 ...
数仓开发任务流
管理任务流数仓表 数仓开发中任务流的操作与任务编排中任务流的操作是相似的。更多信息，请参见 任务编排概述。管理任务流数仓表 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>数仓开发。说明 若您使用的是极简...
离线集成概述
保存：保存当前开发中的离线管道。运行：运行当前开发中的离线管道。预览：预览当前离线管道运行后的集成结果。调度配置：调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见 配置离线管道调度。通道...
离线集成概述
保存：保存当前开发中的离线管道。运行：运行当前开发中的离线管道。预览：预览当前离线管道运行后的集成结果。调度配置：调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见 离线管道调度配置。通道...
功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
配置任务调度
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在相应的业务流程下，双击打开离线同步节点 write_result 的编辑页面。单击编辑页面右侧导航栏的 ...
购买指引
场景3：数据中台建设/数仓规范化建设推荐配置 推荐配置 推荐原因 功能 推荐购买 企业版，企业版具备完整的数据开发治理功能，包含各类安全合规能力、OpenAPI定制化能力等。增值功能推荐开通 智能数据建模，智能数据建模落地数据中台建设...
DataHub通过数据集成批量导入数据
该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可以为20多种数据源提供不同网络环境下的离线数据进出通道。本文以配置DataHub数据源为例，如果您需要使用其它类型的数据源配置同步任务，请参见 支持的数据源及...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
Tablestore Stream配置同步任务
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在目标业务流程中，右键单击 数据集成，选择 新建节点>离线同步。在 新建节点 对话框中，输入 名称 ...
创建Hologres数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Hologres实例的...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
创建数据脱敏场景
通常用于对数据集成离线数据进行相关脱敏操作。该场景下，数据在存储过程中便会按照配置的脱敏规则识别敏感数据并将其脱敏，脱敏完成后再将数据存储至指定数据库位置。权限控制 新增、编辑、删除脱敏场景：租户管理员、租户安全管理员 可...
什么是数据管理DMS
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
创建ClickHouse数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL ClickHouse的连接地址...
创建Hologres数据源
数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供Hologres任务的开发与调度能力，若您需要基于该Hologres数据源进行Hologres任务开发，或周期性调度Hologres相关任务，需先...
标签工厂概述
标签工厂是通过标签创建到服务全链路的构建，为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台，适合多种场景（如风控、营销），提供离线、实时、服务标签的开发、管理、探索以及服务能力，赋能上层各端业务应用，为企业...
新建补数据计划
在离线计算任务中新建补数据计划 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 离线任务>离线计算任务。在离线计算任务列表中...
通过数据集成导入数据至Elasticsearch
本文为您介绍如何通过数据集成导入离线Elasticsearch数据。前提条件 准备阿里云账号，并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并使用主账号登录DataWorks。创建工作...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
运维中心入门
进入运维中心 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。操作流程 阶段一：测试验证调度任务 步骤一：查看周期任务配置 为避免周期任务调度不符合预期，建议您在...
创建项目空间
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据开发>数仓开发。单击 新建项目空间。在 新建项目空间 对话框中，配置如下参数信息：类别 配置项 说明 基本信息 项目空间 输入具有...
创建手动任务
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面左侧导航栏选择 手动业务流程。若您界面没有该菜单，请参见 改变布局：定制化展示...
创建Oracle数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
- 产品推荐
- 这些文档可能帮助您