确定需求
数据功能模块通常和业务板块紧耦合，对应一个或多个表，可以作为构建数据仓库的数据源。下表展现的是一个营销业务板块的数据功能模块。数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表...
DescribeColumnsV2-查询数据资产表中列的数据V2
说明 根据资产表中列数据命中的敏感数据识别规则的 ID，查询数据安全中心连接授权的数据资产表中列的数据，敏感数据识别规则 ID 可调用 DescribeRules 接口获取。11122200 ProductCode string 否 数据资产表中列数据所属产品名称。取值：...
概述
数据写入HBase之后，很多业务场景下需要实时获取或者订阅HBase表的数据变更。当数据被更新时，触发其他应用的业务处理，如物流订单生成后触发仓库作业。对接实时计算，用于业务数据驱动的智能运营、IoT、监控大屏等数据应用。数据同步，...
概述
Sink 从Channel中获取Event，并将以事务的形式Commit到外部存储中。一旦事务Commit成功，该Event会从Channel中移除。常见Sink如下：Logger Sink：用于测试。Avro Sink：转换成Avro Event，主要用于连接多个Flume Agent。HDFS Sink：写入...
二级索引
在已有数据的表中添加新的索引时，CREATE_INDEX 命令会同时将主表的历史数据同步到索引表中，如果主表很大时，CREATE_INDEX 会非常耗时间（数据同步任务是在服务端执行的，即使删除Lindorm Shell进程也不会影响数据同步任务）。查看二级...
概述
本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL标准存储引擎创建表时，该表由表定义和相关数据组成。创建Federated表时，表定义是相同的，但是数据的物理存储...
配置PostgreSQL输入组件
多个表的数据写入同一个数据表时，使用union算法。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的表达式，筛选 具有相同结构的表。系统...
自建Oracle同步至云原生数据仓库AnalyticDB ...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
功能特性
普通数据变更 无锁数据变更 可以将单个SQL拆分成多个批次执行，能更好地满足业务方变更大量表数据且不锁表的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。无锁数据变更概览 无锁变更 ...
配置Microsoft SQL Server输入组件
多个表的数据写入同一个数据表时，使用union算法。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的表达式，筛选 具有相同结构的表。系统...
配置TiDB输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
CREATE STREAM
数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT EXISTS)table_name('(' tableElement(',' tableElement)*')...
产品架构
整体架构如下：LindormTable 的数据持久化存储在LDFS中，表的数据通过自动Sharding分散到集群中的多台服务器上，并且每一个分区可以拥有1至N个副本，这N个副本拥有主、从两种角色，主从副本可以加载在不同的Zone，从而保障集群的高可用和强...
配置TiDB输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
配置KingbaseES输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
从RDS同步至MaxCompute
说明 同步对象支持选择的粒度仅为表，您可以从多个库中选择表作为同步对象。默认情况下，同步对象的名称保持不变。如果您需要在目标实例上名称不同，那么需要使用DTS提供的对象名映射功能，详情请参见 设置同步对象在目标实例中的名称。...
配置MySQL输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行...
配置MySQL输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行...
配置KingbaseES输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
配置GBase 8a输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
配置StarRocks输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
配置StarRocks输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
配置GBase 8a输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
配置Impala输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作...
配置GoldenDB输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作，添加表：在输入框中，输入表的表达...
配置GoldenDB输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作...
配置列映射
type：宽表中需要映射的列的数据类型，配置时区分大小写，包括以下数据类型：INT LONG STRING BOOLEAN FLOAT DOUBLE 说明 确保宽表的数据类型与配置的数据类型一致，否则会影响到索引数据的生成。在宽表引擎中需要您通过调用 Bytes.toBytes...
基本概念
因此，复制表中的数据量不宜过大，最好不超过2万行。由于维度表的变更会广播到集群的所有节点，确保所有节点的数据一致性，影响写入性能，因此不建议频繁增删改维度表的数据。EIU EIU，全称为Elastic IO Unit，中文名称为弹性IO资源，是 ...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。在RDS数据库中，按照源表结构创建相应的表。参考 数据存储配置白名单，配置RDS数据库白名单。由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中...
配置DM（达梦）输入组件
多个表的数据写入同一个数据表时，使用union算法。union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行以下...
配置DM（达梦）输入组件
多个表的数据写入同一个数据表时，使用union算法。union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行以下...
DML操作常见问题
如果表非Transactional表，您需要把源分区或源表中的数据导入到新分区或新表中，在导入过程中执行相应的更新逻辑操作。新分区或新表可以与源分区或源表相同，即就地更新。如何删除MaxCompute表或分区中的数据？MaxCompute支持通过 delete ...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
新建事实逻辑表
主键用于定义事实逻辑表从来源表中的取数逻辑；度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产...
配置Impala输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作...
将MySQL数据迁移到Redis
这种从源端数据库提取数据，转换格式后传入异构数据库中的方式也适用于其它异构数据库之间的数据迁移。前提条件 已创建作为源端的RDS MySQL实例且其中已存在可供迁移的表数据。已创建作为目的端的云数据库Redis版实例。已创建Linux系统的...
新建事实逻辑表
主键用于定义事实逻辑表从来源表中的取数逻辑；度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产...
配置PostgreSQL输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行...
RDS MySQL同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
- 产品推荐
- 这些文档可能帮助您