支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
路由同步
您可以通过路由同步功能控制企业版转发路由器向网络实例传播网络实例连接关联的企业版转发路由器路由表中的路由。本文为您介绍路由同步的使用限制、路由同步机制以及如何开启和关闭路由同步功能。使用限制 仅企业版转发路由器支持路由同步...
单点登录（SSO）常见问题
查询IdP中SCIM同步日志，查找同步失败的原因做对应处理。同一个用户，IdP中的UPN和同步到云SSO中的UPN不一致。可能的情况：SCIM同步时选择同步到云SSO的用户名使用的不是UPN。SCIM同步配置了用户名映射的转换规则。在IdP单点登录配置中设置...
从PolarDB-X同步至AnalyticDB for PostgreSQL
在成功启动数据同步作业后，如果在源库中新增了一个表并需要将其作为同步对象，您需要为数据同步作业 新增同步对象。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。功能...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑的迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑地迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
PolarDB-X间的数据实时同步
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB-X 间的数据同步。前提条件 PolarDB-X 中的数据库须基于RDS MySQL创建。待同步的表须具备主键。确保目标 PolarDB-X 中，目标数据库对应的RDS实例具备充足的存储空间...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
如果同步的目标为 云原生数据仓库AnalyticDB MySQL（2.0），那么源 PolarDB-X 中待同步的库或列的名称不能包含 云原生数据仓库AnalyticDB MySQL（2.0）的保留字，否则将造成数据同步失败，详情请参见 保留字。注意事项 DTS在执行全量数据...
Kafka实时ETL同步至Hologres
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。本文为您介绍如何创建Kafka实时ETL同步至Hologres任务。使用...
第三方数据源授权数据分析确认书
3、为了实现数据源同步、分析，您应确保您的数据源向阿里云开放必要的权限或进行必要的技术授权，否则由于鉴权失败等原因造成的同步不成功或分析处理有误，阿里云不承担责任。4、您和阿里云均理解并确认，阿里云除为执行您的服务指令进行...
DescribeSynDbs-查看同步db
当 SynStatus 返回为 false 时，表示同步失败的原因。ClickHouse exception,code:49,host:100.100.118.132,port:49670;Code:49,e.displayText()=DB:Exception:Logical error:there is no global context(version 20.8.17.25)n RdsUserName ...
PolarDB-X 1.0同步至Elasticsearch
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将数据从PolarDB-X 1.0同步至Elasticsearch。前提条件 源 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独购买的RDS），暂不支持为PolarDB MySQL。已创建...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
使用MongoShake实现MongoDB实例间的单向同步
通过阿里云自研的MongoShake开源工具，您可以实现MongoDB数据库间的数据同步，该功能可用于数据分析、灾备和多活等业务场景。本文以云数据库MongoDB实例间的数据实时同步为例介绍配置流程。MongoShake介绍 MongoShake是阿里云以Golang语言...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
常见问题
资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
实时同步常见问题
原因之一就是同步的binlog变多，因为binlog是实例级别，即便配置的同步任务只同步了表A，那么没有在任务中的表B、表C等如果发生变更，也会生成binlog，这些额外增加的binlog就会使同步处理的速度变慢。实时同步中选择单库与选择多库的内存...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
同步时源库为MySQL的注意事项及限制
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
使用NimoShake将Amazon DynamoDB迁移至阿里云
NimoShake（又名DynamoShake）是阿里云研发的数据同步工具，您可以借助该工具将Amazon DynamoDB数据库迁移至阿里云。前提条件 已经创建阿里云MongoDB实例，详情请参见 创建副本集实例 或 创建分片集群实例。背景信息 本文档主要介绍...
RDS MySQL同步至阿里云消息队列Kafka版
在该场景下建议您不要同步该表，如果一定要同步，也只能同步部分列，即配置DTS任务时，过滤掉这些大字段的记录。如果已经是在同步中的任务，则需要修改同步对象，将该表移出，再次点击修改同步对象，加入该表，并将该表的大字段列过滤，不...
常见问题
如果业务对数据要求比较精确，您可以删除目标库的数据，然后重新配置同步任务，并在 任务步骤 同时选中 库表结构同步 和 全量同步（默认已选中 增量同步）。DTS全量同步任务长时间没进度，如何处理？若待同步的表为无主键的表，全量同步会...
RDS MySQL同步至阿里云消息队列Kafka版
在该场景下建议您不要同步该表，如果一定要同步，也只能同步部分列，即配置DTS任务时，过滤掉这些大字段的记录。如果已经是在同步中的任务，则需要修改同步对象，将该表移出，再次点击修改同步对象，加入该表，并将该表的大字段列过滤，不...
导入与导出
使用adb-import.sh导入本地数据时，如何缩小导入失败原因的排查范围？使用adb-import.sh导入本地数据时，如何在Windows环境下运行导入程序？如何停止异步导入导出任务？登录 云原生数据仓库AnalyticDB MySQL控制台，在 诊断与优化 页的 ...
全增量数据同步
本文主要介绍全增量数据同步的使用场景，功能列表，迁移优势，使用限制以及创建数据同步任务等操作。使用场景 大版本升级：HBase1.x升级HBase2.x。跨地域迁移：例如从青岛机房迁移到北京机房。跨账号迁移：支持不同账号迁移数据。集群升配...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
三个实例相互进行双向同步后出现数据缺失
例如下图所示的配置场景：可能原因 双向同步场景的关键在于防止数据回环，不适用于三个实例间的互相同步。以上图为例：DB1的数据通过DTS同步至DB2时，为防止数据回环至DB1，DTS会使用基于事务表的方式对事务进行打标，实现数据过滤。但同时...
Phoenix全增量迁移
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据、不写WAL的数据将不会被同步。注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，推荐修改一下源集群的日志保留时间，给增量同步...
API 引入数据概览
内容引入模块支持标准的 API 内容引入，...单击 同步详情 可查看近 7 日同步失败的内容及原因，包含 API 标识、内容原始标识、API 名称、内容形式（图文或视频）、失败原因、同步时间。同步成功率：成功引入的内容量在总引入内容量中的占比。
出错提示S9磁盘分区头数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S9_*磁盘分区头数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S9_*磁盘分区头数据同步出错”。其中S9_*可能的错误码如下：S9_F4 S9_F40 问题...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
购买流程
目前跨境同步链路默认不开放购买，若您需要购买跨境同步任务，请先申请开通跨境数据同步的权限，详情请参见 申请跨境数据同步权限。进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏...
增量同步性能白皮书
单机同步单分区 单机同步4个分区 单机同步8个分区 单机同步32分区 单机同步64分区 2台机器同步64分区 2台机器同步128分区 说明 上述测试场景不是产品能力的极限测试，对表格存储服务端的整体压力较小。测试步骤 创建数据表并进行预分区...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
DeleteDISyncTask
删除数据集成同步任务失败后的原因描述。如果删除数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=DeleteDISyncTask&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回示例...
DeployDISyncTask
发布数据集成同步任务失败后的原因描述。如果发布数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=DeployDISyncTask&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回示例...
TerminateDISyncInstance
下线数据集成实时同步任务失败后的原因描述。如果下线数据集成实时同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=TerminateDISyncInstance&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求...
- 产品推荐
- 这些文档可能帮助您