数据同步操作指导
数据同步使用流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据同步的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS执行数据同步前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的...
数据迁移和同步方案概览
云数据库PolarDB提供了...数据迁移 使用场景 文档链接 从自建数据库迁移至PolarDB 自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle）数据同步 使用场景 文档链接 PolarDB兼容Oracle数据间同步 PolarDB PostgreSQL版（兼容Oracle）间的迁移
配置同步任务（旧控制台）
首次使用数据同步功能时，请阅读 数据同步操作指导，帮助您快速掌握创建、监控、管理数据同步任务的操作。注意事项 本文仅简单介绍数据同步任务的通用配置流程，不同的数据源在配置数据同步任务时略有不同。关于各类数据源的详细配置案例请...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
RDS 同步到云搜
本文介绍如何使用数据同步服务快速配置 RDS 到云搜（ZSearch）的数据实时同步，以进行业务的实时搜索。支持功能 支持 RDS 数据表到 ZSearch 的实时数据同步 任务创建成功后支持修改同步对象 支持的 SQL 操作类型 RDS>云搜 实时同步支持以下...
DataWorks On Hologres使用说明
数据同步的同步资源费用 运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买数据同步所需的资源组（例如，包年包月的独享数据集成资源组、按量付费的公共数据集成（调试）资源组），支付相应的资源组费用。说明 ...
升级步骤
查看数据同步任务详情（仅限逻辑迁移）（可选）在使用逻辑迁移（DTS数据同步）方式进行一键升级的过程中，若遇到迁移报错（如预检查失败）或者其他异常状态（如复制延迟异常高）时，您可以前往对应的DTS数据同步任务的详情页，查看数据同步...
升级步骤
前置检查：检查是否已创建PolarDB-X 2.0服务关联角色 在使用逻辑迁移（DTS数据同步）方式进行一键升级前，请先检查是否已创建PolarDB-X 2.0服务关联角色，以及是否已 授予DTS访问云资源的权限。检查是否已创建PolarDB-X 2.0服务关联角色的...
DataWorks On MaxCompute使用说明
数据同步的同步资源费用 运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买数据同步所需的资源组（例如，包年包月的独享数据集成资源组、按量付费的公共数据集成（调试）资源组），支付相应的资源组费用。说明 ...
周期性调度作业概述
数据同步的同步资源费用：运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买数据同步所需的资源组（例如，包年包月的独享数据集成资源组、按量付费的公共数据集成（调试）资源组），支付相应的资源组费用。说明 ...
使用DTS进行增量迁移时没有同步数据
问题描述 使用阿里云数据传输服务DTS的增量迁移功能时出现延迟，或者使用数据同步功能时很长时间没有同步数据。问题原因 增量迁移没有同步数据的原因如下：目标或者源端实例运行状态异常。源或者目标实例上进程被阻塞。源实例以及目标实例...
MongoDB 3.4（已停止新购）
使用MongoDB工具将自建数据库迁移至副本集实例 使用MongoDB工具将自建数据库迁移至分片集群实例 使用NimoShake工具将Amazon DynamoDB数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
数据集成概述
使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
MySQL实例间的双向同步
Ignore（遇到冲突，直接使用目标实例中的冲突记录）当数据同步遇到上述的冲突类型时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录）当数据同步遇到上述的冲突...
不同阿里云账号下RDS实例间的数据同步
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
从ECS上的自建MySQL同步至RDS
目标库为RDS MySQL 或RDS MySQL Serverless 实例时（除5.7和8.0版本外），DTS会在目标库新建一个有写入权限且仅供DTS内部使用的数据同步账号 dtssyncwriter。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据...
新建数据源
您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
新建数据源
您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
从通过专线、VPN网关或智能接入网关接入...MySQL同步至RDS
目标库为RDS MySQL 或RDS MySQL Serverless 实例时（除5.7和8.0版本外），DTS会在目标库新建一个有写入权限且仅供DTS内部使用的数据同步账号 dtssyncwriter。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据...
功能概览
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等）同步至目的端数据源（包括阿里云上）。本文介绍 云备份 的数据同步功能概览，包括数据同步的...
从PolarDB MySQL版同步至RDS MySQL
目标库为RDS MySQL 或RDS MySQL Serverless 实例时（除5.7和8.0版本外），DTS会在目标库新建一个有写入权限且仅供DTS内部使用的数据同步账号 dtssyncwriter。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ ...相关文档 新建 OceanBase 数据源 新建 RocketMQ 数据源 批量操作数据同步项目 查看数据同步项目的详情
查看和修改同步对象
使用限制 数据同步项目处于 未启动、运行中 或 已暂停 状态时，支持增加和减少迁移对象。数据同步项目处于 失败 状态时，仅支持减少同步对象。数据同步项目处于 修改中 或 合并中 状态时，不支持再次修改同步对象。数据同步项目的 增量同步...
DB2数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...
配置同步实例
说明 如在Redis企业版实例间的数据同步可使用该参数，更多信息，请参见 调用OpenAPI配置Redis企业版实例间单向或双向数据同步。Checkpoint String 否 1610540493 同步位点。AccountId String 否 12323344*阿里云主账号ID，无需设置，该参数...
购买流程
购买数据同步任务 重要 建议使用DTS新版控制台，支持先配置后购买同步任务，详情请参见 配置同步任务。目前跨境同步链路默认不开放购买，若您需要购买跨境同步任务，请先申请开通跨境数据同步的权限，详情请参见 申请跨境数据同步权限。...
同步 OceanBase 数据库的数据至 Kafka
使用限制 数据同步的对象仅支持物理表，不支持其他对象。数据传输支持的 Kafka 版本为 V0.9、V1.0 和 V2.x。数据同步过程中，如果您在源端修改了同步范围内的表名称，且重命名后的名称不在同步对象中，则该部分数据将不被同步至目标 Kafka ...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
配置同步任务
数据同步支持使用 copy from 将数据加载到表中，并且在遇到冲突时会使用新数据覆盖旧数据，建议您在遇到性能问题时再尝试使用该策略。冲突策略 当AnalyticDB for PostgreSQL数据源的加载策略选择 Copy模式 时，需要配置 冲突解决策略，包括...
配置同步任务
数据同步支持使用 copy from 将数据加载到表中，并且在遇到冲突时会使用新数据覆盖旧数据，建议您在遇到性能问题时再尝试使用该策略。冲突策略 当AnalyticDB for PostgreSQL数据源的加载策略选择 Copy模式 时，需要配置 冲突解决策略，包括...
DM（达梦）数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等其他...
概述
HoloStudio的数据开发模块与DataWorks...一键MaxCompute数据同步 支持使用可视化方式导入MaxCompute的数据至Hologres。详情请参见 一键同步MaxCompute数据。一键本地文件上传 用于上传客户端数据至Hologres。详情请参见 一键上传本地文件。
全增量数据同步
本文主要介绍全增量数据同步的使用场景，功能列表，迁移优势，使用限制以及创建数据同步任务等操作。使用场景 大版本升级：HBase1.x升级HBase2.x。跨地域迁移：例如从青岛机房迁移到北京机房。跨账号迁移：支持不同账号迁移数据。集群升配...
创建AnalyticDB for MySQL3.0数据源
使用连接串模式创建的数据源不支持用于数据开发或周期性调度任务，只能用于数据同步。详情请参见 创建数据源。仅支持使用独享数据集成资源组、独享调度资源组运行AnalyticDB for MySQL3.0任务，详情请参见 新增和使用独享数据集成资源组、...
DataWorks节点合集
包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可统筹管理多个节点的虚拟节点、可循环执行代码的do-while节点），多种...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
- 产品推荐
- 这些文档可能帮助您