数据传输服务 DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。

DTS同步数据到AnalyticDB MySQL时出现“modify ...

问题描述 数据同步过程中,出现'id' is LONG type,Can't ...DTS同步数据到AnalyticDB MySQL时,关于如何修改源表中的字段类型请参见DTS同步数据到AnalyticDB MySQL是否可以修改源表中的字段类型。适用于 云原生数据仓库AnalyticDB MySQL版

同步Redis后出现数据不一致

问题描述 使用数据传输服务(DTS同步Redis后,出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务(DTS)同步完Redis后,使用Redis的info keyspace命令查看源端和目标端的keys情况,出现源端和目标端数据不一致,且含过期...

从ECS上的Twemproxy Redis集群同步Redis实例

重复第1到第13的操作,为剩余的Redis-Server创建数据同步作业。执行结果 本案例的Twemproxy Redis集群具备两个Redis-Server,所以创建两个数据同步作业。如下图所示,这两个数据同步作业完成同步初始化后,已经都处于同步中状态。本...

从ECS上的自建Redis同步Redis实例

为保障同步质量,DTS会在源Redis数据库中插入一个key:DTS_REDIS_TIMESTAMP_HEARTBEAT,用于记录更新时间点。如果配置Redis集群间的数据同步,请勿在源集群中执行FLUSHDB和FLUSHALL命令,否则将导致源和目标的数据不一致。如果目标库的数据...

从自建Redis集群同步Redis集群实例

为保障同步质量,DTS会在源Redis数据库中插入一个key:DTS_REDIS_TIMESTAMP_HEARTBEAT,用于记录更新时间点。请勿在源集群中执行FLUSHDB和FLUSHALL命令,否则将导致源和目标的数据不一致。如果目标库的数据逐出策略(maxmemory-policy)...

从通过专线、VPN网关或智能接入网关接入的自建Redis...

为保障同步质量,DTS会在源Redis数据库中插入一个key:DTS_REDIS_TIMESTAMP_HEARTBEAT,用于记录更新时间点。如果配置Redis集群间的数据同步,请勿在源集群中执行FLUSHDB和FLUSHALL命令,否则将导致源和目标的数据不一致。如果目标库的数据...

从ECS上的Codis集群同步Redis实例

当前固定为包含全量数据+增量数据,即DTS会将源Codis中的存量数据同步至目标Redis数据库中,并同步增量数据。上述配置完成后,单击页面右下角的预检查并启动。说明 在同步作业正式启动之前,会先进行预检查。只有预检查通过后,才能成功...

跨云账号同步Redis集群版实例

数据传输服务DTS(Data Transmission Service)支持跨云账号单向同步Redis集群版实例(简称为Redis实例),适用于云账号间的资源迁移或合并、业务架构调整等多种应用场景。前提条件 源Redis实例的引擎版本为4.0(社区版)或5.0(社区版、...

跨云账号单向同步云数据库Redis实例

说明 针对同源或者目标的多个DTS实例,如DTS实例A和DTS实例B,设置网络重试时间时A设置30分钟,B设置60分钟,则重试时间以低的30分钟为准。由于连接重试期间,DTS将收取任务运行费用,建议您根据业务需要自定义重试时间,或者在源和目标...

Redis实例间的单向数据同步

DTS会将源Redis实例中的存量数据同步至目标Redis实例中,并同步增量数据。如果跳出版本相关的报错提示,请您按照提示将源Redis实例升级至指定版本。关于升级版本方式,请参见升级大版本和升级小版本。上述配置完成后,单击页面右下角的预...

Redis企业版实例间的双向同步

当前固定为包含全量数据+增量数据,DTS会将源Redis实例中同步对象的存量数据初始化至目标Redis实例,并同步增量数据。注意 在配置反向同步作业时,如果同步对象已经初始化至目标实例,则直接同步增量数据。如果跳出版本相关的报错提示,请...

从自建Redis迁移至阿里云Redis

如果是集群架构,您可以通过数据同步的方式来实现数据迁移,详情请参见从自建Redis集群同步Redis集群实例。自建Redis数据库可正常运行psync或sync命令。阿里云Redis实例的存储空间须大于自建Redis数据库占用的存储空间。注意事项 DTS在...

【3月】DTS产品发布记录

优化涉及自建Redis、云数据库Redis同步链路。优化涉及自建Redis、云数据库Redis同步链路。本次发布预计为3月25日22点至24点。期间,如果您的DTS实例出现异常,请提交工单咨询。3月18日发布动态 类型 重点内容 具体内容 新功能 新版控制...

准备用于数据同步的数据库账号

建库建表的权限,以允许DTS创建库dts,用于记录同步期间的心跳数据。为自建MySQL创建账号并设置binlog。PolarDB MySQL 待同步对象的读权限。创建数据库账号。PolarDB-O 高权限账号。创建数据库账号。PolarDB-X REPLICATION CLIENT、...

什么是数据传输服务DTS

云数据库Redis版:阿里云数据库Redis版(ApsaraDB for Redis)是兼容开源Redis协议的高性能Key-Value类型在线存储服务。云数据库MongoDB版:云数据库MongoDB版(ApsaraDB for MongoDB)是基于飞天分布式系统和高可靠存储引擎的在线数据库...

【9月】DTS产品发布记录

本文介绍数据传输服务DTS(Data Transmission Service)在9月份的新功能、功能优化以及缺陷修复,方便您了解最新的产品发布动态。9月23日 类型 重点内容 功能优化 优化内容:数据库网关将于北京时间2021年9月23日22点至24点重启其海外地域...

调用OpenAPI配置Redis企业版实例间单向或双向数据同步

您可以通过调用DTS的相关接口,为Redis企业版实例配置单向或双向数据同步。本文介绍相关注意事项及示例代码。本文展示的示例代码基于Java语言,您需要将示例代码中的和分别替换为您的AccessKeyId和AccessKeySecret。您也可以在OpenAPI ...

API概览

DTS同步实例的同步拓扑从单向同步升级为双向同步。修改DTS产品的付费方式或实例规格。升级或降级DTS实例规格。为DTS实例续费,仅适用于预付费类型的DTS实例。ResetDtsJob 重置一个数据迁移、同步或订阅任务。SuspendDtsJob 暂停一个数据...

三个实例相互进行双向同步后出现数据缺失

以上图为例:DB1的数据通过DTS同步至DB2时,为防止数据回环至DB1,DTS会使用基于事务表的方式对事务进行打标,实现数据过滤。但同时,这部分被打标的数据也不会同步到DB3。因此,就出现了DB3缺少数据的情况。同理,DB3同步至DB2的数据,会...

同步方案概览

数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 DTS控制台全面升级...

数据传输服务DTS如何同步一个表的某些字段数据

概述 本文主要介绍数据传输服务DTS如何同步一个表的某些字段数据。详细信息 数据传输服务DTS可以实现同步一个表的某些字段数据,不同步其他字段,具体操作请参见库表列映射。如果目标的对象已经存在数据,数据传输服务DTS会出现预检查失败...

【5月】DTS产品发布记录

本文介绍数据传输服务DTS(Data Transmission Service)在5月份的新功能、功能优化以及缺陷修复,方便您了解最新的产品发布动态。5月27日 类型 重点内容 新功能 新增SQL Server(自建SQL Server、RDS SQL Server)间同步链路(新版控制台)...

通过数据订阅实现缓存更新策略

本文介绍通过DTS的数据订阅功能,结合MongoDB或Redis实现高可靠、低延迟的缓存更新策略。前提条件 已完成数据订阅通道(旧版)的配置,详情请参见创建PolarDB-X数据订阅通道。背景信息 为提高业务访问速度,提升业务读并发,在业务架构中...

跨阿里云账号迁移或同步专有网络下的自建数据库时如何...

填写RAM角色名称,本案例填写ram-for-dts。说明 可填写大写字母、小写字母、数字或短横线(-),长度不超过64个字符。备注(可选) 填写RAM角色备注信息。选择云账号 选择为其他云账号,填写目标实例所属的云账号ID作为授信云账号。说明 您...

修改数据同步的附加列规则

DTS在将数据同步到DataHub或MaxCompute时,会在同步的目标表添加一些附加列,用于元数据管理、排序去重等。如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败,为避免出现此类问题,您可以修改同步附加列的命名规则。背景信息...

【7月】DTS产品发布记录

本文介绍数据传输服务DTS(Data Transmission Service)在7月份的新功能、功能优化以及缺陷修复,方便您了解最新的产品发布动态。7月29日 类型 重点内容 新功能 支持配置运行时间超过设定阈值的告警功能,如全量任务运行超过自定义时间...

常见错误码及排查方法

DTS-10015:unreachable redis network.JedisConnectionException:Could not get a resource from the poolJedisConnectionException:Failed connecting to ip_address:portConnectException:Connection timed out(Connection timed out) ...

如何排查DTS增量迁移延迟或同步延迟

MySQL时,如源库执行变更字段类型的DDL操作,会导致DTS同步任务出现延迟,处于重试中状态。这是因为目标实例AnalyticDB MySQL不支持字段类型变更,而DTS会在AnalyticDB MySQL中多次重试DDL操作且执行失败,从而表现出同步延迟。原因6:目标...

Redis数据同步报“Cannot read anything”错误

问题描述 Redis数据同步时,系统报错如下。[2018-12-28 10:31:45]{Redis Extractor} (RedisClient.poll)Cannot read anything.[2018-12-28 10:31:45]{Redis Extractor} (RedisClient.poll)java.io.IOException:Cannot read anything.&问题...

MigrationReserved参数说明

在调用ConfigureMigrationJob或ConfigureSynchronizationJob接口配置任务时,您可以传入本参数...本参数仅在Redis企业版实例间的数据同步场景下适用。destRedisType 请求示例{& autoStartModulesAfterConfig":"none",&"targetTableMode":2 }

购买DTS实例

调用CreateDtsInstance接口购买DTS实例。请确保在使用该接口前,已充分了解云数据库DTS产品的收费方式和价格。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...

从PolarDB-X同步至DataHub

勾选结构初始化后,在数据同步作业的初始化阶段,DTS会将同步对象的结构信息(例如表结构)同步至目标DataHub实例。选择同步对象 在源库对象框中单击待迁移的对象,然后单击将其移动至已选择对象框。说明 同步对象的选择粒度为表。默认情况...

DTS常见报错的解决方法

概述 在使用数据传输服务DTS过程中,可能会遇到各种报错信息,本文主要介绍在使用过程中常见错误信息的解决方法。详细信息 如下为数据传输服务DTS在使用过程中常见错误解决方法,您可以通过返回的错误信息在本文匹配解决方案。错误码 具体...

从PolarDB MySQL同步至Datahub

勾选结构初始化后,在数据同步作业的初始化阶段,DTS会将同步对象的结构信息(例如表结构)同步至目标DataHub实例。选择同步对象 在源库对象框中单击待迁移的对象,然后单击将其移动至已选择对象框。说明 同步对象的选择粒度为表。默认情况...

从RDS MySQL同步至DataHub

说明 勾选结构初始化后,在数据同步作业的初始化阶段,DTS会将同步对象的结构信息(例如表结构)同步至目标DataHub实例。选择同步对象 在源库对象框中单击待迁移的对象,然后单击将其移动至已选择对象框。说明 同步对象的选择粒度为表。...

产品功能FAQ

如果是数据同步任务,由于数据同步暂不支持将数据库实例作为有公网IP的自建数据库接入,因此DTS暂不支持这些地区的数据同步。是否支持只读实例为源的数据迁移、同步或者订阅?仅全量迁移、结构迁移支持将只读实例(比如RDS只读实例、...

同步时源库为PostgreSQL的注意事项及限制

public.DTS_PG_CLASS、public.DTS_PG_ATTRIBUTE、public.DTS_PG_TYPE、public.DTS_PG_ENUM、public.DTS_POSTGRES_HEARTBEAT、public.DTS_DDL_COMMAND、public.DTS_ARGS_SESSION。为保障同步延迟时间展示的准确性,DTS会在源库中新增一个名...

使用DTS增量同步数据时出现“Invalidate value”报错

问题描述 使用DTS增量同步数据时,出现以下报错。DTS-077100:Record Replicator error in XXX.cause by [java.sql.SQLException:[15018,2020022500033819216812025003453844378](Column TB_LOAN_PERSON.BIRTHDAY),Invalidate value=>0000-...

配置监控报警

DTS同步、迁移和订阅任务提供了监控报警功能,您可以通过控制台对重要的监控指标设置报警规则,让您第一时间了解DTS任务的状态。前提条件已完成DTS任务的配置流程,请参见配置同步任务(新控制台)、配置迁移任务(新控制台)。操作步骤 ...
< 1 2 3 4 ... 154 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折