质量规则参数配置
两表时间字段比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id...
质量规则参数配置
两表时间字段比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id...
如何进行时间段分析
进入数据集编辑界面 此时源表时间字段已经转化为日期类型，如下图所示，需要创建时间字段进行分析：创建时间字段 首先进入数据集编辑界面，右击订单日期并选择维度类型切换-默认，转化为默认，然后单击克隆维度创建副本，再将原字段转化...
质量规则模板类型
单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行比较。有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。...
质量规则模板类型
单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行比较。有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。...
批量创建质量规则
及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、字段值域校验、码表参照对比 和 数据标准码表参照对比（需开通数据标准模块）。一致性：包含 单表字段值一致性比较、单表...
批量创建质量规则
及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、字段值域校验、码表参照对比 和 数据标准码表参照对比（需开通数据标准模块）。一致性：包含 单表字段值一致性比较、单表...
如何创建特定时间段分析
进入数据集编辑界面 此时源表时间字段已经转化为日期类型如下图所示，需要创建时间字段进行分析。创建时间字段 首先进入数据集编辑界面，右键单击日期字段，选择维度类型切换-文本，转化为文本，然后右键单击克隆维度创建副本，再将原字段...
新建及管理质量规则模板
及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL 包括 自定义统计指标校验 和 自定义数据详情校验。不同类型模板的使用场景，请参见 模板类型说明。数据源类型 模板需要指定支持的数据源类型，避免不同数据源...
新建及管理质量规则模板
及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL 包括 自定义统计指标校验 和 自定义数据详情校验。不同类型模板的使用场景，请参见 模板类型说明。数据源类型 模板需要指定支持的数据源类型，避免不同数据源...
创建数据表质量规则
及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、字段值域校验、码表参照对比 和 数据标准码表参照对比（需开通数据标准模块）。一致性：包含 单表字段值一致性比较、单表...
创建全域数据表质量规则
及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、字段值域校验、码表参照对比 和 数据标准码表参照对比（需开通数据标准模块）。一致性：包含 单表字段值一致性比较、单表...
创建全域数据表质量规则
及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、字段值域校验、码表参照对比 和 数据标准码表参照对比（需开通数据标准模块）。一致性：包含 单表字段值一致性比较、单表...
创建数据表质量规则
及时性：包含 时间函数比较、单表时间字段比较 和 两表时间字段比较。有效性：包含 字段格式校验、字段长度校验、字段值域校验、码表参照对比 和 数据标准码表参照对比（需开通数据标准模块）。一致性：包含 单表字段值一致性比较、单表...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
元数据仓库共享模型（MaxCompute）
column 物理表字段 dim_dataphin_table_partition 物理表分区 数据服务 dim_dataphin_service_logic_unit 已上线数据服务单元表 data_service_finish dim_dataphin_service_api 已上线数据服务API表 dim_dataphin_service_api_direct 已...
元数据仓库共享模型（Hadoop）
column 物理表字段 dim_dataphin_table_partition 物理表分区 数据服务 dim_dataphin_service_logic_unit 已上线数据服务单元表 data_service_finish dim_dataphin_service_api 已上线数据服务API表 dim_dataphin_service_api_direct 已...
从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
标签平台设置
Dataphin标签平台设置为使用标签模块功能的前提条件，包含时间字段设置及提供标签在线服务的服务数据源设置，其中时间字段设置包含标签表时间分区字段设置以及实时事件时间戳字段设置。标签表时间分区字段设置包含一、二、三级分区字段设置...
通过Kettle导入至数仓版
在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。本地Excel数据成功同步至 AnalyticDB MySQL版 ...
虚拟列
数据表字段类型与多元索引字段类型的对应关系请参见 数据类型映射。创建虚拟列。重要 创建虚拟列时，原始字段名必须在数据表中存在，且原始字段的数据类型必须和虚拟列的字段类型相匹配。单击 添加索引字段。输入 字段名 和 字段类型。打开...
数据注册与字段配置
os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称，比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式：yyyyMMdd hh 小时字段 否 24小时制，00~23 mm 分钟字段 否 00~59 结果表字段基本都是...
推送数据
内容字段 add 所有保留字段 数据表唯一标识字段组合以及本说明文档 数据规范 定义的必填字段 update 所有保留字段 数据表唯一标识字段组合以及本说明文档 数据规范 定义的必填字段 delete 所有保留字段 数据表唯一标识字段组合 重要 add...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
事件操作函数
原始日志_topic_:db_name:db-01 db_version:5.6_topic_:db_name:db-02 db_version:5.7 加工规则 e_output(name="target1",hash_key_field="db_version")加工结果#假设存储目标target1一共有2个Shard。Shard 0的范围...
Quick BI报错“column xxx is ambiguous”
产品名称 Quick BI 产品模块 数据集、仪表板 问题描述 数据集预览报错，报错内容是“column xxx is ambiguous”问题原因 添加计算字段时，字段名是手动填写的，数据集又有表关联的操作，关联的表里的某个字段与原表字段名重复，无法识别...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
从SLS同步
字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...
管理数据表
本文为您介绍如何快速查找数据表，并查看数据表中的数据字段和数据类型等信息。查询数据表 当数据源中的数据表过多，无法快速定位到自己所需的数据表时，您可以按照以下步骤操作。登录 Quick BI控制台。按照下图指引，进入数据源管理页面。...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
DB-IN
本文为您介绍数据读写的数据源组件（即DB-IN算法组件）。...参数名 描述 默认值 范围 数据源选择“数据源管理”的所有数据源都会在此列出 无 无 可用字段“数据源”的所有表字段都会在此列出 无 无 已选字段 已选字段都会在此列出 无 无
导入Elasticsearch数据
设置时间字段和时间格式时，确保该设置与真实数据中的时间字段、格式相匹配。设置Elasticsearch查询条件或时间范围时，确保Elasticsearch索引中存在符合条件的数据。日志服务中显示的数据时间和数据本身的时间不一致。设置导入配置时，没有...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
新建镜像表
镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 镜像表字段,实时表字段,离线表字段 单击 确定。步骤三：预览镜像关系 在镜像表开发页面，页面右侧为您展示 镜像关系预览 面板。在 镜像关系预览 面板，查看实时表、离...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
算子功能详解
召回过滤字段：召回表字段内容与过滤表中的字段内容相同时，该条记录将被过滤丢弃。表达式：支持运算符>、<、=、!AND、OR、in()、notin()、contain()、notcontain()。示例如下：1)>例：item_id>1 2)<例：item_id)=String类型：item_set_...
- 产品推荐
- 这些文档可能帮助您