星环ArgoDB/TDH Inceptor物理表和字段详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
逻辑表和字段资产详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
基本概念
SQLServer CDC：实时数据同步模式，开启CDC的源表在插入、更新和删除活动时会插入数据到日志表中。CDC通过捕获进程将变更数据捕获到变更表中，通过CDC提供的查询函数，实现数据的秒级同步。数据探查 内置算法：内置多种数据统计分析算法，...
逻辑表和字段资产详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
CDH/EMR/亚信/FI/CDP物理表和字段详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
INTERVAL RANGE简介
如果您尝试为2021年12月10日插入数据，那么将创建2021年9月15日至12月15日所需的3个分区，并将数据插入该分区。使用限制 INTERVAL RANGE分区使用COLUMNS只能指定单个分区键，该键必须是数字或日期范围。必须定义至少一个RANGE分区。...
配置同步任务
数据同步支持使用 copy from 将数据加载到表中，并且在遇到冲突时会使用新数据覆盖旧数据，建议您在遇到性能问题时再尝试使用该策略。冲突策略 当AnalyticDB for PostgreSQL数据源的加载策略选择 Copy模式 时，需要配置 冲突解决策略，包括...
配置同步任务
数据同步支持使用 copy from 将数据加载到表中，并且在遇到冲突时会使用新数据覆盖旧数据，建议您在遇到性能问题时再尝试使用该策略。冲突策略 当AnalyticDB for PostgreSQL数据源的加载策略选择 Copy模式 时，需要配置 冲突解决策略，包括...
通过一键建仓同步至数仓版
通过INSERT INTO SELECT命令，将customer表的数据复制并插入到新创建的customer_new表中，确保两张表的数据保持一致。重命名或删除同步失败的表customer，然后将customer_new表的名称修改为customer。在DTS控制台，重新启动数据同步任务。...
通过一键建仓同步至数仓版
通过INSERT INTO SELECT命令，将customer表的数据复制并插入到新创建的customer_new表中，确保两张表的数据保持一致。重命名或删除同步失败的表customer，然后将customer_new表的名称修改为customer。在DTS控制台，重新启动数据同步任务。...
DML操作常见问题
MaxCompute SQL中使用到新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY）时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上 set odps.sql.type.system.odps2=...
从自建Redis迁移至Tair实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至 云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...
离线同步数据质量排查
在写出端您可以尝试从下列常见情况对照排查：原因 问题描述 解决方案 写出模式选择导致 Writer插件会使用选择的写出模式将源头数据在目标端执行重放，如果源头数据和目标表结构出现数据约束，会对应导致数据插入失败（脏数据）、数据插入...
表删除，更新和合并
通过合并的SQL语义，它将新数据与表中的现有数据进行匹配并删除重复数据，但是如果新数据集中存在重复数据，则将其插入。因此，在合并到表之前，对新数据进行重复数据删除。如果您知道几天之内可能会得到重复的记录，则可以通过按日期对表...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 云数据库MongoDB版（副本集架构或分片集群架构）迁移至云原生多模数据库Lindorm。前提条件 云数据库MongoDB版 为副本集架构或分片集群架构。重要 若源库为分片集群架构...
PolarDB-X 2.0同步至MaxCompute
如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败。您需要根据业务需求选择 新规则 或 旧规则。警告 在选择附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突，否则可能会导致数据丢失或任务失败。关于...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
RDS MySQL同步至DataHub
如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败。您需要根据业务需求选择 新规则 或 旧规则。警告 在选择附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突，否则可能会导致数据丢失或任务失败。关于...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
数据集成调度策略说明
说明 如果存在无主键的表，DTS会将整条记录作为主键进行全字段匹配，然后删除旧数据并插入新数据。新增的数据在写入目标库时，如果遇到主键冲突，DTS将执行REPLACE INTO来插入新数据。适用于轻量级的数据迁移场景（无需每次迁移所有的存量...
跨云账号迁移云数据库Redis实例
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
PolarDB MySQL版同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
PolarDB-X 2.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步。前提条件 已开通 DataHub，并且已创建用作接收同步数据的Project。具体操作请参见 快速入门...
云数据库MongoDB版同步至云原生多模数据库Lindorm
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
配置TDH Inceptor输出组件
覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。字段分隔符 填写文件存储分隔符。如果您没有填写，则系统默认将 字段分隔符 填写为英文逗号（,）。分区 如果选择了分区表，则需要选择数据表的分区。默认的...
PolarDB-X 1.0迁移至DataHub
如果附加列和目标表中已有的列出现名称冲突将会导致数据迁移失败。您需要根据业务需求选择 新规则 或 旧规则。警告 在选择附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突。关于附加列的规则和定义说明，请参见 附加...
数据操作
插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '[primaryKeyValue,primaryKeyValue]'-attr '[{"c":"attributeColumnName","v":"attributeColumnValue"},{"c":"attributeColumnName...
PolarDB MySQL版同步至MaxCompute
附加列规则 DTS在将数据同步到MaxCompute时，会在同步的目标表中添加一些附加列。如果附加列和目标表中已有的列出现名称冲突，将会导致数据同步失败。您需要根据业务需求选择 新规则 或 旧规则。警告 在选择附加列规则前，您需要评估附加列...
INSERT
该示例为部门名称创建一个表，然后通过选择 dept 表的 dname 列来插入表中：CREATE TABLE deptnames(deptname VARCHAR2(14));INSERT INTO deptnames SELECT dname FROM dept;将 select*from table1 的结果作为一个目标对象，并在目标对象中...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
自建Oracle同步至MaxCompute
附加列规则 DTS在将数据同步到MaxCompute时，会在同步的目标表中添加一些附加列。如果附加列和目标表中已有的列出现名称冲突，将会导致数据同步失败。您需要根据业务需求选择 新规则 或 旧规则。警告 在选择附加列规则前，您需要评估附加列...
查看表资产详情
在弹出的汽包中，将鼠标悬停至表资产名称上，并单击 图标，可复制表名称。说明 T+1逻辑刷新数据，即当天公开的资产数据，次日生效。已在数据建模模块中创建逻辑表，并物理化成功。已在数据开发模块中创建公共节点、创建开发场景、并运行...
查看表资产详情
在弹出的汽包中，将鼠标悬停至表资产名称上，并单击 图标，可复制表名称。说明 T+1逻辑刷新数据，即当天公开的资产数据，次日生效。已在数据建模模块中创建逻辑表，并物理化成功。已在数据开发模块中创建公共节点、创建开发场景、并运行...
云数据库Redis间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
跨云账号迁移云数据库Redis实例
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
setEmptyAsNull(boolean emptyAsNull)针对配置的所有表，将empty数据设置为Null，默认为true。setParallelNumber(int parallelNumber)针对配置的所有表，设置写入 AnalyticDB MySQL版 2.0集群时的并发线程数，默认为4。setLogger(Logger ...
何时选择间隔（Interval）分区
如果您尝试为2021年12月10日插入数据，那么将创建2021年9月15日至12月15日所需的3个分区，并将数据插入该分区。下列情况下建议您使用间隔分区：数据按时间维度维护。维护滚动的数据窗口。不希望手动运维增加新的分区。以下示例将 orde_time...
表设计最佳实践
在增量表进行数据插入的过程中，会因为每次数据插入条数较少而造成增量表中的小文件问题。例如，每隔5分钟执行1次同步，每次同步的数据量为10条，一天内的增量为10000条，则会产生1000个小文件。此种场景下，需要在数据同步完成后合并全量...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的结构和数据导出到一个文本文件中。该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db...
- 产品推荐
- 这些文档可能帮助您