OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
接入 Android
reportMsgReceived(SyncMessage syncMessag)用于在 syncCallback 实现类中收到数据后，调用该接口通知数据同步服务端接收同步数据成功。在没有收到 reportMsgReceived 前，数据同步会重试投递，重试 6 次之后数据会被永久删除。isConnected...
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
DataX同步数据
本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通RDS MySQL实例，请参见 创建RDS MySQL实例。已创建RDS MySQL实例的数据库和账号...
DataX同步数据
本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通RDS MySQL实例，请参见 快速创建RDS MySQL实例。已创建RDS MySQL实例的数据库和...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据同步概述
背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见 数据集成概述。重要 因数据同步...
数据同步概述
背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见 数据集成概述。重要 因数据同步...
入仓解决方案
根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案包括：实时同步任务：基于离线数据集成的数据传输服务。新建实时同步任务，请参见 新建实时同步任务。实时迁移任务：基于数据传输服务DTS的数据传输服务...
Oracle数据源
使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单实例，当天实时同步最大支持同步500G增量数据。DataWorks的数据集成实时同步Oracle数据是基于Oracle Logminer日志分析工具实现的，Oracle仅...
配置MaxCompute输入组件
同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
产品优势
支持阿里云自主研发工具 云数据库MongoDB版进行数据迁移和同步时，不但可以通过控制台和MongoDB官方提供的工具实现，还可以通过阿里云自主研发的工具实现，具体如下：工具名称 说明 NimoShake 数据同步工具。您可以使用该工具将Amazon ...
配置SAP HANA输入组件
同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发...
Tair全球多活简介
数据同步 实现一组全球多活实例下的子实例双向数据同步，可应用于数据分析或测试等场景。全球多活架构 Tair 全球多活 是所有全球多活子实例（简称子实例）及链路的逻辑集合，所有子实例通过同步通道保持实时数据同步，各组件介绍如下：子...
Redis全球多活简介
数据同步 实现一组全球多活实例下的子实例双向数据同步，可应用于数据分析或测试等场景。全球多活架构 Redis 全球多活 是所有全球多活子实例（简称子实例）及链路的逻辑集合，所有子实例通过同步通道保持实时数据同步，各组件介绍如下：子...
配置Greenplum输入组件
同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面...
配置ClickHouse输入组件
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
配置GoldenDB输入组件
同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建Golden DB数据源...
配置Microsoft SQL Server输入组件
同步Microsoft SQL Server数据源的数据至其他数据源的场景中，您需要先配置Microsoft SQL Server输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Microsoft SQL Server输入组件。请参见 通过离线单条管道配置集成...
一站式HTAP服务
使用说明 步骤一：设置WAL日志等级 在使用一站式HTAP功能前，请先设置 wal_level 参数为 logical，否则无法在OLTP和OLAP引擎之间同步数据。说明 您可通过PolarDB控制台 参数配置 页面进行参数设置，具体请参见 设置集群参数。警告 该参数...
同步方案选取指南
本文介绍各同步方案适用的场景，帮助您根据业务选择合适的场景同步数据。同步方案 原理说明 适用场景 使用限制 相关文档 DTS实现数据实时同步 通过订阅binlog的方式实现数据同步，在不影响源数据库的情况下，同步延迟可降至毫秒级别。对...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
通过标签管理数据同步项目
创建数据同步项目后，您可以通过标签功能实现对数据同步项目的管理，快速筛选目标项目。本文为您介绍数据传输如何通过标签功能实现对数据同步项目的管理。使用限制 每个数据同步项目最多支持添加 4 个标签。所有数据同步项目的标签总数不得...
数据方案概览
空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
不同阿里云账号下RDS实例间的数据同步
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含表A，如果同步过程中源实例将表A重命名为表B，那么表B将不会被同步到目标库。为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为...
不同阿里云账号下RDS实例间的数据同步
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含表A，如果同步过程中源实例将表A重命名为表B，那么表B将不会被同步到目标库。为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
PolarDB-X 2.0数据源
是 无 splitPk 使用PolarDB-X 2.0 Reader抽取数据，可通过 splitPk 字段进行数据分片，实现并发同步数据，提高同步效能。（推荐）splitPk 设置为表主键。通过表主键切分出的分片比较均匀，不容易出现数据热点。splitPk 仅支持整型数据切分...
应用场景
场景三：查询分载/读能力横向扩展 在有大量读请求的场景，大量读取流量可能会对主流程业务产生影响，这时可以通过构建只读库，主生产库与只读库之间通过数据同步服务实现数据的实时增量复制，将只读流量切换至只读实例，大大降低了主数据库...
Beam概述（公测）
支持DTS同步 得益于主键的支持，Beam表可以和Heap表一样，实现DTS数据同步链路。您可以在DTS任务中将目标表配置为Beam表，从而获得更优的查询性能，而不需要在行存和列存表之间做额外的数据同步。相关文档 更多关于Beam存储引擎的使用，请...
全增量数据同步
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据和不写WAL的数据将不会被同步。增量同步中的日志管理 开启增量同步后，如果不消费数据，默认日志会保留48小时，超时后订阅关系自动取消，保留的数据自动删除。什么场景会导致...
增量数据同步
勾选该项，本同步任务首次运行将会全量同步数据。不勾选 在 字段映射 区域默认选择 同名映射。在 解析配置 区域，可编写解析脚本，该步骤为可选项，本文不做设置。说明 配置完解析脚本后，将不再对源端配置的增量字段作解析，直接使用配置...
Phoenix全增量迁移
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据、不写WAL的数据将不会被同步。注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，推荐修改一下源集群的日志保留时间，给增量同步...
- 产品推荐
- 这些文档可能帮助您