MySQL分库分表同步至Hologres（方案2.0）
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义写入的目标表名称 创建表名变换规则 table_rule，操作如下：在 目标表名...
从自建Db2迁移至RDS MySQL
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在Db2数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 迁移对象选择的粒度可以为库、表、列三个粒度。...
将ECS上分片集群架构的自建MongoDB迁移上云
说明 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP地址...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
配置跨库Spark SQL节点
例如，从qntext数据库的ex_customer表读取数据，并写入到qn_rds数据库的test_table表中。qntext数据库的别名设置为qn，qn_rds数据库的别名设置为rds。输入的SQL语句如下：INSERT INTO rds.test_table SELECT*FROM qn.ex_customer;说明 SQL...
专业术语
identifier（标识符）关于连续查询（continuous query）的名字、数据库（database）名、field key、measurement的名字、保留策略（retention policy）的名字、tag key和用户（user）名的标记。相关术语：database，field key，measurement...
通过Logstash写入数据到AnalyticDB MySQL 2.0
但经过测试发现，在日志量非常大的情况下，通过jdbc方式写入分析型数据库MySQL版的性能较低，并且非常消耗CPU的资源（因为jdbc是单条记录写入的方式）。为此，我们优化了一个基于jdbc的Logstash output plugin插件，请参见 logstash-ouput-...
从MongoDB副本集实例迁移至分片集群实例
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，...
接口说明
在指定的数据库database下进行DDL等操作，比如在指定的database下创建表 Result execute(String database,String sql);其中，Result对象表示SQL的执行结果，比如提交数据库的列表语句（"SHOW DATABASES"）后，可以通过Result获取到已经存在...
冷数据归档
功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储...
背景信息以及准备工作
Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC连接 阿里云关系型数据库（Relational Database Service，简称RDS）（MySQL、SQLServer、PostgreSQL）数据库、云服务器（Elastic Compute Service，简称ECS）上的...
迁移时源库为HBase的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
SQL Server迁移上云指南
停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。SQL Server实例级别迁移上云 说明 若源库为2008 R2版本，建议升级后再进行操作。使用DBS和DTS（一键上云）部署物理协议网关。使用DTS迁移上云（内部会调用OSS ...
数据集成概述
数据集成是稳定高效、弹性伸缩...在数据集成同步任务配置前，您可以在DataWorks 数据源管理 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。
自建SQL Server通过物理网关迁移上云
为避免此种情况发生，迁移任务完成后，您可手动将恢复模式设置为 Simple，命令如下：ALTER DATABASE 数据库名 SET RECOVERY Simple;操作步骤 在 配置源库及目标库信息 页面，单击 新建物理协议网关 按钮。在弹出的 部署命令 对话框中，选择...
基本概念
说明 为保证数据一致性，建议迁移期间不要往源数据库中写入新的数据。如需实现不停机迁移，您需要在配置数据迁移任务时，同时选择结构迁移、全量数据迁移和增量数据迁移。增量数据迁移 在增量数据迁移阶段，DTS会将源库产生的增量数据实时...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
测试数据构建
提交工单后进入审批环节，待审批通过后，系统会自动进行数据构建，并直接写入目标数据库中。说明 目前，测试数据构建的默认安全审批规则为：数据库对应的DBA进行审批。更多信息，请参见 测试数据构建。配置算法介绍 测试数据生成算法配置...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
从采集到分析-TSDB For InfluxDB®让你的数据产生价值
在写入前指定数据写入的数据库和保留策略（如果不指定，则写入默认的保留策略），数据可以按行或者Batch的方式写入。为了提高写入吞吐，推荐Batch的写入方式，Batch行数按数据大小可以在100~1000行左右。SDK下载，请参见 地址，程序编译...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
PolarDB MySQL版同步至RDS MySQL
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
同步时源库为PolarDB-X 2.0的注意事项及限制
源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB ...
PolarDB-X 2.0迁移至Tablestore
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
Db2 for LUW同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
Db2 for LUW迁移至RDS MySQL
前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 RDS MySQL 实例。创建方法，请参见 快速创建RDS MySQL实例。说明 支持的版本，请参见 迁移方案概览。如需执行增量迁移，您需要开启 Db2 for LUW 数据库的归档日志。更...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
同步时源库为PostgreSQL的注意事项及限制
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
数据库名称 填入源 Db2 for LUW 中迁移对象所属数据库的名称。数据库账号 填入 Db2 for LUW 的数据库账号，权限要求请参见 创建账号并授予权限。数据库密码 填入该数据库账号对应的密码。目标库信息 选择已有的DMS数据库实例 您可以按实际...
PolarDB MySQL版同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
Db2 for LUW迁移至PolarDB MySQL版
前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 PolarDB MySQL版 集群。创建方法，请参见 购买按量付费集群 和 购买包年包月集群。说明 支持的版本，请参见 迁移方案概览。如需执行增量迁移，您需要开启 Db2 for LUW...
RDS MySQL迁移至Tair/Redis
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至 云原生内存数据库Tair 或 云数据库Redis，降低后端关系型数据库的负载，从而提升用户体验。本文以 RDS MySQL 实例为源，云数据库Redis ...
配置SQLServer数据源
此连接串中的Database为本数据源的默认数据库，但在配置同步任务时，您可以使用相应RDS实例下所有的数据库。用户名 登录数据库的用户名。密码 登录数据库的密码。选择 资源组连通性 类型为 数据集成。在资源组列表，单击相应资源组后的 ...
同步时源库为MySQL的注意事项及限制
源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB MySQL版...
云数据库MongoDB版（副本集架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（副本集架构）间的双向同步。前提条件 已创建源和目标 云数据库MongoDB版（副本集架构）实例，创建方式，请参见 创建副本集实例。重要 支持的版本，请参见 同步方案...
如何解决增量迁移延迟或同步延迟
原因5：当DTS无法连接数据库或由于其他报错导致DTS写入数据至目标库发生异常时，DTS会进行多次重试，从而表现出同步延迟。此时您可以在控制台上查看任务是否处于 重试中 状态，并单击 查看原因并修复，查看重试原因并进行相应修复。比如，...
PolarDB-X 2.0同步至Tablestore
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
RDS MySQL同步至Tair/Redis
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或RDS MySQL）同步至 云原生内存数据库Tair 或 云数据库Redis，降低后端关系型数据库的负载，从而提升用户体验。本文以 RDS MySQL 实例为源，云数据库Redis ...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
- 产品推荐
- 这些文档可能帮助您