2020年
DTS从MySQL数据库同步到ClickHouse集群的功能已下线，已购买此功能的用户不受影响。若您需要新购此功能，请查看 云数据库ClickHouse 产品的官方文档的 从RDS MySQL同步 章节，配置MySQL到ClickHouse的同步功能。数据迁移功能支持迁移RDS ...
自建MySQL同步至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地或ECS的MySQL数据库同步至 RDS MySQL 实例。DTS默认仅实时同步增量数据，您也可以选择同时进行库表结构同步和全量同步，平滑地完成自建MySQL...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
数据传输服务DTS（Data Transmission Service）支持将使用专线、VPN网关或智能网关接入的自建MySQL数据库同步至 RDS MySQL 实例。前提条件 已将自建MySQL数据库接入到阿里云，且将DTS服务器的IP地址添加到该数据库远程连接的白名单中，以...
使用Tapdata Cloud导入MySQL数据
由于数据流转通常对时效性有较高的要求，因此，推荐将Tapdata Agent部署在MySQL数据库所属机器或相同网络的机器中，可极大降低网络延迟带来的影响。说明 此处以Linux操作系统（64位）为例介绍Agent部署流程，如果需要部署到其他平台（例如...
RDS MySQL同步至PolarDB MySQL版
支持的源数据库 MySQL同步至 PolarDB MySQL版 集群，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入...
RDS MySQL同步至PolarDB MySQL版
支持的源数据库 MySQL同步至 PolarDB MySQL版 集群，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入...
RDS MySQL同步至云原生数据仓库 AnalyticDB ...
支持的源数据库 MySQL同步至 云原生数据仓库AnalyticDB PostgreSQL版 实例，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、...
RDS MySQL同步至自建Oracle
支持的源和目标数据库 MySQL同步至Oracle，支持以下源或目标数据库。本文以RDS MySQL实例为源数据库，ECS上自建Oracle实例为目标数据库为例介绍配置流程，其他数据源配置流程与本案例类似。源数据库 目标数据库 RDS MySQL 实例。ECS上的自...
RDS MySQL同步至PolarDB-X 2.0
支持的源数据库 MySQL同步至 PolarDB分布式版 实例，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入...
将MySQL数据同步到表格存储
您可以根据业务需求使用DataX、DTS、canal或者Tapdata Cloud工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
数据同步
从RDS同步至通过专线、VPN网关或智能接入网关接入的自建MySQL MySQL数据同步至其他数据库 从RDS同步到云原生数据仓库AnalyticDB MySQL 从RDS MySQL同步至云原生数据仓库AnalyticDB PostgreSQL 从RDS MySQL同步至DataHub 从RDS同步至...
通过DataX导入RDS数据
数据库用户名 无 tsdbuser password String 否 数据库密码 无 tsdbpsw ignoreWriteError Bool 是 忽略写入错误 false true database String 否 导入TSDB的数据库名 default default 配置迁移任务 配置一个从MySQL数据库同步抽取数据到时序...
从 MySQL 到 TSDB 的数据迁移
配置迁移任务 配置一个从 MySQL 数据库同步抽取数据到 TSDB 的任务，命名为 mysql2tsdb.json，完整的配置信息如下，针对各个配置参数的详细说明，请参见 参数说明。{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{...
同步方案概览
本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些场景下可实现部分数据迁移的功能，且网络稳定性更好、功能更丰富。更多区别，请参见 数据迁移和数据同步的区别是什么。当前仅当目标库为函数计算FC时，不支持...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
Dataphin从hdfs向MySQL同步数据后，数据在MySQL中汉字...
问题原因 MySQL数据库编码方式的问题。输入以下命令检查MySQL编码方式：show variables like 'character%';其中，character_set_server的值是latin1。所以，汉字会在数据库显示乱码。解决方案 切换MySQL数据库的编码格式。适用于 Dataphin
创建自建数据库用户及授权
本文为您介绍如何创建自建 MySQL 数据库实例的用户，以及该用户在数据迁移各阶段需要具备的最小权限。背景信息 自建 MySQL 数据库实例的类型包括 VPC 内自建数据库 和 公网 IP 自建数据库。本文创建的自建数据库用户，用于创建自建数据库...
PolarDB MySQL版与RDS MySQL性能对比
但是线上数据库的缓存命中率基本都在99%以上，因此只有第一次的读会调用I/O，因此读取性能会降低，后续数据都在缓存池（Buffer Pool）中，并不需要调用I/O，因此性能是一样的。在对比写性能的时候，同样不推荐您使用单条SQL进行比较，推荐...
从ECS上的自建MySQL同步至RDS
前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 Serverless实例。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低...
从ECS上的自建MySQL同步至RDS
前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 Serverless实例。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低...
从ECS上的自建MySQL同步至PolarDB MySQL版（金融云）
前提条件 ECS上的自建MySQL数据库的版本为5.1、5.5、5.6、5.7或8.0版本。已在金融云中创建 PolarDB MySQL版 集群，详情请参见 购买按量付费集群。说明 PolarDB MySQL版 集群的存储空间须大于自建MySQL数据库占用的存储空间。本文仅适用于...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已经将自建MySQL数据库接入至阿里云专有网络，详情请参见 通过CEN实现本地IDC与DTS云服务互通。说明 接入至阿里云专有网络后，还需要放通DTS的IP地址访问自建数据库所属的网络，详情请...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已经将自建MySQL数据库接入至阿里云专有网络，详情请参见 通过CEN实现本地IDC与DTS云服务互通。说明 接入至阿里云专有网络后，还需要放通DTS的IP地址访问自建数据库所属的网络，详情请...
2023年
自建Oracle同步至PolarDB MySQL版 新增 华北1（青岛）地域新增支持将OceanBase（MySQL）迁移至MySQL数据库或 PolarDB MySQL版 集群，帮您降低数据库运维的成本。OceanBase（MySQL模式）迁移至RDS MySQL OceanBase（MySQL模式）迁移至...
MySQL整库实时同步至SelectDB
准备环境 进行MySQL整库实时同步至SelectDB的数据集成任务时，需要基于Serverless资源组，并确保资源组与需要同步的MySQL数据库与SelectDB数据库连通性正常。建议使用Serverless资源组。准备数据库 若您已拥有MySQL数据库，以及SelectDB...
迁移工具
使用DTS同步MySQL数据 canal canal基于MySQL数据库增量日志解析，提供增量数据订阅和消费功能，是阿里开源CDC工具，它可以获取MySQL binlog数据并解析，然后将数据变动传输给下游。基于canal，您可以实现从MySQL到其他数据库的实时同步。更...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
常见问题
但由于 PolarDB MySQL版 的数据库节点是基于共享存储的架构，这将导致主节点在执行DDL操作的时候，只读节点可能会查询到DDL操作的中间数据而出现数据不一致的问题。因此，PolarDB MySQL版 会将DDL操作中涉及到的Exclusive MDL锁通过Redo...
2019年
同步方案概览 支持从MySQL数据库（含自建MySQL、RDS MySQL和PolarDB MySQL）迁移至AnalyticDB for MySQL 3.0版本。迁移方案概览 数据订阅功能新增华北3地域的支持。支持的地域列表 2019年11月 支持迁移Oracle数据库的分区表结构至MySQL数据...
从RDS MySQL同步至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL同步至 PolarDB MySQL版。前提条件 已...
功能特性
云数据库MongoDB版（副本集架构）同步至函数计算FC 云数据库MongoDB版（分片集群架构）同步至函数计算FC 异构数据库同步 支持异构数据库间的数据同步。结构初始化涉及的数据类型映射关系 自建Oracle同步至云原生数据仓库AnalyticDB ...
迁移MySQL数据
本文为您介绍MySQL数据迁移到 云数据库 SelectDB 版 的各个方式以及各方式的功能对比。迁移方式功能对比 DTS、DataWorks、Flink CDC、Catalog均可将MySQL的数据迁移至 云数据库 SelectDB 版，但不同的方式支持迁移的数据有所不同，您可根据...
2021年
配置流程 新版控制台支持配置如下任务：MySQL（自建MySQL、RDS MySQL）间同步链路，支持源或目标库为通过专线接入的自建MySQL数据库。ECS上的自建SQL Server同步至云原生数据仓库AnalyticDB MySQL或AnalyticDB PostgreSQL。从通过专线、VPN...
配置MySQL数据源
使用限制 Dataphin的数据实时集成MySQL数据是基于实时订阅MySQL Binlog实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，不支持配置为DRDS的MySQL。操作步骤 创建账号并配置账号权限。您需要规划一个...
从ECS上的自建MySQL同步至Elasticsearch
自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无...
从RDS MySQL同步至PolarDB-X
介绍云原生分布式数据库 PolarDB-X（简称PolarDB-X）是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期...
RDS MySQL同步至AnalyticDB for PostgreSQL
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
ETL工具支持概览
dbsync：阿里云提供的开源数据库同步工具。支持从MySQL、PostgreSQL并发同步数据到 AnalyticDB PostgreSQL版。支持简单的数据转换。支持通过解析Binlog，准实时地从MySQL同步数据到 AnalyticDB PostgreSQL版。其他支持Greenplum的ETL工具。
实时同步常见问题
调整Binlog保留时间：如果数据库位点过期，可以考虑在MySQL数据库中调整Binlog的保留时间，例如设置为7天。数据同步：如果数据已经丢失，可以考虑重新全量同步，或者配置一个离线同步任务来手动同步丢失的数据。实时同步Hologres报错：...
修改持久内存型实例的同步模式
Tair（企业版）持久内存型实例的默认同步模式为异步，若业务场景对数据持久化要求较高，您可以在控制台将其同步模式修改为半同步，提高数据安全性。前提条件 实例为持久内存型，且版本为1.2.4及以上。说明 低版本的持久内存型实例可在升级...
- 产品推荐
- 这些文档可能帮助您