从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
从SLS同步
字段映射 日志字段和云数据库ClickHouse表字段的映射。投递开始时间 日志写入SLS的时间。例如，选择时间为 2021-12-31 08:00，即把 2021-12-31 08:00 之后的日志数据投递到云数据库ClickHouse。是 否过滤脏数据 是否对脏数据进行过滤。建议...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
行业算法版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT 行业算法版表的字段类型与数据库表的字段类型的对应关系 行业算法版表 ...
OpenSearch-高性能检索版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT OpenSearch表的字段类型与数据库表的字段类型的对应关系 OpenSearch表 ...
通过Kettle导入至数仓版
在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。本地Excel数据成功同步至 AnalyticDB MySQL版 ...
数据注册与字段配置
os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称，比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式：yyyyMMdd hh 小时字段 否 24小时制，00~23 mm 分钟字段 否 00~59 结果表字段基本都是...
虚拟列
数据表中字段类型 虚拟列字段类型 String Keyword（含数组）String Text（含数组）String Long（含数组）String Double（含数组）String Geo-point（含数组）Long Keyword Long Text Double Keyword Double Text 虚拟列目前仅支持用在查询...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
操作流程
物理化逻辑表 通过物理化的方式，将 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置...
数据建模
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建逻辑表字段时通过关联数据元自动生成质量规则的功能。一致性：支持当前...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
功能简介
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
步骤二：开发事实逻辑表
在 添加字段从表引入 对话框中，选择 dataphin_tutorial.orders 来源表并选择 order_time、payment_amount 字段。说明 主键、关联维度关联字段等已自动添加，无需勾选。单击 添加。在 表结构 页面，单击 保存并下一步。步骤三：配置逻辑表...
步骤二：开发事实逻辑表
在 添加字段从表引入 对话框中，选择 dataphin_tutorial.orders 来源表并选择 order_time、payment_amount 字段。说明 主键、关联维度关联字段等已自动添加，无需勾选。单击 添加。在 表结构 页面，单击 保存并下一步。步骤三：配置逻辑表...
功能简介
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
步骤一：开发维度逻辑表
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
步骤一：开发维度逻辑表
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
任务导出
按自定义字段导出任务数据 此方式导出可自定义设置导出的字段。点击「自定义表头字段导出所有任务」后，会出现选择字段的界面，点击「添加字段」，勾选项目内已有的想要导出数据的字段，最后点击「确定」，界面左下角会出现「已开始下载」...
API概览
GetTableProfile 获取表数据概况 获取表数据概况的详细信息。RenameTable 更新元数据表的名称 仅用于更新数据湖元数据表的名称。BatchGetTables 批量获取元数据表详情 批量获取某个数据湖元数据表的详细信息。BatchCreateTables 批量新增...
DataSource
instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 dbTableName String 数据库表名 ...
DataSource
instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 dbTableName String 数据库表名 ...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
DB-IN
DB-IN算法组件从所选数据源内选表选字段。计算逻辑原理 根据用户填写的数据源连接信息，调用选择数据源的接口获取表字段schema。使用流程说明 先在“数据源管理”页定义好数据源连接信息，然后将组件拖入画布，选择相应数据源的表字段。...
UpdateTableMeta-更新数据表
reso-2s416t*TableName string 是 数据库中的表名。table_mysql Module string 是 数据表模块。ABTest：实验数据表。ExperimentTool：实验工具表。DataDiagnosis：数据诊断 ABTest InstanceId string 是 实例 ID，可通过接口 ListInstances...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
创建与管理数据模型
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB for MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7...
03配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量，本文介绍如何配置逻辑表字段，关联标准字段。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已创建数据元...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
事件
字段关系只会在单击填报的瞬间生效，不会随着交叉表数据集进行动态变化。说明 若交叉表字段筛选列表取消了和填报表单中绑定的字段时，无法点击跳转到填报界面。例如交叉表中的“省份”和填报中“province”绑定了映射关系：此时在已选字段...
- 产品推荐
- 这些文档可能帮助您