逻辑视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
逻辑视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
物化视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
MaxCompute/Hadoop物理视图和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
代码模式建模
前提条件 DataWorks目前不支持通过FML语言创建数据表，您需要提前使用可视化界面创建好维度表、明细表、汇总表。创建维度表，详情请参见 创建逻辑模型：维度表。创建明细表，详情请参见 创建逻辑模型：明细表。创建汇总表，详情请参见 创建...
质量大盘
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
质量大盘
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
权限操作审计
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
权限操作审计
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
API概览
表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。DeleteTableColumnStatistics 删除元数据表统计信息 回收数据湖元数据表的字段统计信息。DeleteTableVersion 删除元数据表...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
表管理
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
写数据表
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
配置ClickHouse输入组件
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
导出至MaxCompute
本文介绍如何通过INSERT外表方式将 AnalyticDB MySQL版 数仓版（3.0）数据导出到MaxCompute分区表。前提条件 根据MaxCompute 准备工作 和 快速入门 准备目标数据表。例如通过 表操作 语句，在MaxCompute中创建以下表。如果您已经有目标数据...
加速服务
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
数据权限配置
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
数据权限配置
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
需求分析
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离...
需求分析
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角，单击...
冷数据归档表创建及变更
创建冷数据归档表 本文以创建TTL表t_order和关联的归档表t_order_oss为例说明创建冷数据归档表的步骤。执行以下命令，在AUTO模式数据库中创建TTL表t_order。CREATE TABLE t_order(id bigint NOT NULL AUTO_INCREMENT,gmt_modified DATETIME...
配置AnalyticDB for PostgreSQL输出组件
具体操作，请参见 创建AnalyticDB for PostgreSQL数据源 表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 ...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
读数据表
本文介绍读数据表算子的使用方法。用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择...
数据表
本文介绍如何为数据表进行编目。前提条件 已物理化“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 物理化逻辑表。已创建数据目录，具体操作，请参见 编制目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，...
- 产品推荐
- 这些文档可能帮助您