从自建MySQL同步至云消息队列 Kafka 版
前提条件 您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 Kafka 版。详情请参见 购买并部署实例。说明 云消息队列 Kafka 版 提供标准版和专业版，两种规格都支持数据同步。您可以...
配置数据同步任务
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table 表名 命令检查数据是否已写入目标表。例如，在MySQL触发HA...
最佳实践概览
通过reindex将自建Elasticsearch数据迁移至阿里云 通过实例私网打通将自建Elasticsearch数据迁移至阿里云 第三方Elasticsearch数据迁移 腾讯云Elasticsearch数据迁移至阿里云 从AWS迁移Elasticsearch索引至阿里云 数据库同步 RDS MySQL同步...
跨阿里云账号同步RDS MySQL实例
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table 表名 命令以确认数据均已写入目标表。例如，在MySQL触发HA...
从自建MySQL同步至阿里云消息队列Kafka版
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
Db2 for LUW同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table 表名 命令以确认数据均已写入目标表。例如，在MySQL触发HA...
数据同步模板
MySQL server-id 每个MySQL数据库客户端的唯一ID。取值范围为5400~6400。该参数也支持ID范围的格式，例如5400-5408。推荐在开启增量读取模式多并发读取数据时，设置该参数为ID范围，因为这样可以使得每个并发使用不同的ID。重要 不要和其他...
读写MySQL数据（mysql_fdw）
RDS PostgreSQL提供mysql_fdw插件，可以读写RDS MySQL实例或自建MySQL数据库里的数据。您可以加入RDS PostgreSQL插件交流钉钉群（103525002795），进行咨询、交流和反馈，获取更多关于插件的信息。前提条件 实例为RDS PostgreSQL 10或以上...
通过DTS导入数据
通过数据传输服务DTS（Data ...操作方法 您可以选择数据同步或数据迁移任意一种方式，将RDS MySQL数据导入至 AnalyticDB for MySQL。具体操作，请参见：RDS MySQL同步至AnalyticDB MySQL 3.0。RDS MySQL迁移至AnalyticDB MySQL 3.0。
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
RDS MySQL同步至AnalyticDB MySQL 3.0
若源库为8.0.23及以后版本的MySQL数据库，且待同步的数据中包含不可见的隐藏列，则可能会因为无法获取该列的数据而导致数据丢失。说明 您可以使用 ALTER TABLE table_name ALTER COLUMN column_name SET VISIBLE;命令，将该隐藏列设置为...
PolarDB-X 1.0同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table 表名 命令以确认数据均已写入目标表。例如，在MySQL触发HA...
新建 MySQL 数据源
用户名 用于数据迁移或数据同步的 MySQL 数据库用户名称。建议您为迁移或同步任务创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移任务仅...
整实例同步
数据传输服务DTS（Data Transmission Service）支持将部署在本地、ECS、其他云上的MySQL数据库，以及 RDS MySQL 实例中的所有库表数据，通过一个DTS实例同步至目标 RDS MySQL 实例中，帮助您平滑地完成MySQL数据库的同步上云。重要 此功能...
功能特性
社区兼容版集群变配和水平扩缩容 垂直升降配 当您需要调整云数据库ClickHouse社区兼容版集群的配置或规模时，您可以对云数据库ClickHouse进行垂直升降配，以帮助您的业务在成本与性能之间达到最佳平衡。社区兼容版集群变配和水平扩缩容 ...
RDS MySQL同步至Elasticsearch
如果源库中待同步的表需要执行增加列的操作，您只需先在Elasticsearch实例中修改对应表的mapping，然后在源MySQL数据库中执行相应的DDL操作，最后暂停并启动DTS同步实例。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库...
生态对接
阿里云生态 云数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步MySQL 容器服务Kubernetes版 在Knative上实现Kafka...
配置MySQL输入组件
同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。前提条件 已创建MySQL数据源。具体操作，请参见 创建MySQL数据源。进行MySQL输入...
配置MySQL输入组件
同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。前提条件 已创建MySQL数据源。具体操作，请参见 创建MySQL数据源。进行MySQL输入...
异步生成更新同步任务配置
目前仅支持通过异步方式为数据集成同步任务新增表或者删除表，并且仅支持更新如下类型的同步任务：同步 MySQL 数据至 MaxCompute。同步 MySQL 数据至 Kafka。同步 MySQL 数据至 Hologres。同步任务中的 SelectedTables 用于多库模式选择...
查询和修改数据复制方式
本文介绍如何查询和修改RDS PostgreSQL实例的数据复制方式，提高云数据库性能或可用性。前提条件 实例为PostgreSQL高可用系列（云盘）。如需修改 数据复制方式 为 半同步，则需要实例内核版本为20220228及以上版本。如何升级内核小版本，请...
新功能发布记录
数据迁移模块文档 迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，新增支持 MySQL utf8mb3 字符集自动映射为 OceanBase 数据库 MySQL 租户的 utf8mb4 字符集，实现 MySQL 数据库的快速迁移与同步。迁移 MySQL 数据库的数据至 ...
2022年
支持的地域列表 迁移、同步或订阅本地数据库时需添加的IP白名单 2022年5月 类型 重点内容 相关文档 新增 支持Db2 for LUW到PolarDB MySQL集群的数据同步功能。Db2 for LUW同步至PolarDB MySQL版 2022年4月 类型 重点内容 相关文档 新增 ...
源库存在触发器时如何配置同步或迁移作业
数据准备 MySQL数据库triggertestdata中存在了两个表：parent和child。其中，表parent中有一个触发器（定义：当INSERT一条数据到表parent之后，将其INSERT写入的数据写入一份至表child中）。说明 表结构及触发器定义如下表所示。对象类型 ...
RDS MySQL同步至DataHub
若源库为8.0.23及以后版本的MySQL数据库，且待同步的数据中包含不可见的隐藏列，则可能会因为无法获取该列的数据而导致数据丢失。说明 您可以使用 ALTER TABLE table_name ALTER COLUMN column_name SET VISIBLE;命令，将该隐藏列设置为...
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT ...
数据集成服务
迁移方案 说明 同步MySQL数据到表格存储 MySQL数据库中的数据只能迁移到表格存储的数据表中。迁移过程中会使用到MySQL的Reader脚本配置和表格存储的Writer脚本配置，具体数据源配置如下：源数据源：MySQL数据源 目标数据源：Tablestore数据...
DDL 同步范围
更多详情请参见 MySQL 数据库至 OceanBase 数据库 MySQL 租户的 DDL 同步。对象类型 DDL 类型 DDL 语句 是否支持 表 CREATE CREATE TABLE A 支持 CREATE TABLE A LIKE B 支持 CREATE TABLE IF NOT EXISTS A 支持 CREATE TABLE AS SELECT 不...
CREATE DATABASE AS（CDAS）语句
示例五：多CDAS语句整库同步到Kafka 在使用多个CDAS语句整库同步到Kafka时，由于不同的数据库中可能存在相同的表，为了防止topic冲突，需要使用 cdas.topic.pattern 配置。cdas.topic.pattern 定义了创建topic的名称的格式，其中可通过 {...
DTS基于VPN网关实现阿里云RDS和AWS EC2间的数据同步
某企业在AWS平台的欧洲（法兰克福）地域拥有一个VPC，VPC中使用EC2部署了MySQL数据库。同时，企业在阿里云德国（法兰克福）地域也拥有一个VPC，并且VPC下已创建RDS MySQL实例。因业务需要，企业需要将AWS EC2中的数据实时同步至阿里云RDS ...
DTS基于VPN网关实现阿里云RDS和AWS EC2间的数据同步
某企业在AWS平台的欧洲（法兰克福）地域拥有一个VPC，VPC中使用EC2部署了MySQL数据库。同时，企业在阿里云德国（法兰克福）地域也拥有一个VPC，并且VPC下已创建RDS MySQL实例。因业务需要，企业需要将AWS EC2中的数据实时同步至阿里云RDS ...
配置同步实例
当目标实例为阿里云分析型数据库MySQL版时，传入分析型数据库MySQL版的集群ID。DestinationEndpoint.InstanceType String 否 RDS 目标实例类型，取值为：Redis：阿里云Redis实例。RDS：阿里云RDS实例。PolarDB：阿里云PolarDB集群（仅支持...
常见问题
因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响，请参见 到期或欠费说明。如何提前释放包年...
通过DTS将数据库数据同步到阿里云ES Serverless
如果您需要将关系型数据库中的数据实时同步到阿里云Elasticsearch Serverless（简称ES Serverless）中进行搜索分析，可通过数据传输服务DTS快速创建源库到目标库ES Serverless的实时同步作业，适用于对实时同步要求较高的同步场景。...
GenerateDISyncTaskConfigForCreating-异步生成同时...
目前支持创建的同步任务类型如下：同步 MySQL 数据至 MaxCompute。同步 MySQL 数据至 Kafka。同步 MySQL 数据至 Hologres。SelectedTables 用于多库模式选择同步表，Tables 用于单库模式选择同步表。当脚本中包含 SelectedTables 语句时，...
场景：配置增量数据离线同步任务
以同步MySQL数据为例：当不配置 数据过滤 时，默认同步全量数据至目标表中。当配置 数据过滤 时，将只同步满足过滤条件的数据至目标表中。目标MaxCompute表分区名称以调度参数的方式指定，$bizdate 表示业务日期，定时任务执行时，任务配置...
概述
目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、云数据库RDS、表格存储TableStore、对象存储OSS、ElasticSearch以及函数计算服务等。用户只需向DataHub服务中写入一次数据，并且在DataHub服务中配置数据同步功能，便可以在所支持...
DTS数据同步是否支持RDS MySQL至AnalyticDB MySQL
支持。配置方法，请参见 从RDS MySQL同步到云原生数据仓库AnalyticDB MySQL。
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
用户权限说明
OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步用户需要如下权限：目标端为 Kafka、DataHub 和 RocketMQ 等消息队列类型时，需要对源端待同步数据库具备 SELECT 权限。目标端为 MySQL ...
- 产品推荐
- 这些文档可能帮助您