
2020实战复盘:如何从0到1搭建数据传输平台产品DTS?(二)
5.数据迁移模块5.1 技术选型跟数据订阅不同,Mysql的数据迁移五花八门,实现原理也都各不相同。综合来看,我们选择了DataX作为数据迁移引擎。5.2 基本原理DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、...

2020实战复盘:如何从0到1搭建数据传输平台产品DTS?(二)
1.什么是数据传输服务数据传输服务DTS(Data Transmission System)的目标是支持RDBMS、NoSQL、OLAP等数据源间的数据交互,集数据迁移/订阅/同步于一体,帮助构建安全、可扩展、高可用的数据架构。当然,目前我们的核心存储还是以MySQL为主,因此,自研的数据传输服务的...

汽车之家基于 Flink 的数据传输平台的设计与实践
数据接入与传输作为打通数据系统与业务系统的一道桥梁,是数据系统与架构中不可或缺的一个重要部分。数据传输系统稳定性和准确性,直接影响整个数据系统服务的 SLA 和质量。此外如何提升系统的易用性,保证监控服务并降低系统维护成本,优雅应对灾难等问题也十分重要。 本文介绍了汽车之家实时计算团队利用 Flin...
打造开放式数据传输平台,Solace助力企业实时数据共享
在刚刚过去的云栖大会上,云计算依旧是各个企业讨论的热点话题之一。在云计算方面,市场不断的升温给让人们的需求开始增加,但是云迁移却让人们望而却步。自2016年,越来越多的企业在讨论云迁移,也有很多企业想要把数据迁移到云上,但真正做到的少之又少。那么进行云迁移,云计算的意义究竟在哪里? Solace亚太...
淘宝实时数据传输平台: TimeTunnel介绍
作者在工作中遇到了类似流式数据实时接入的业务场景,所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具,文中的图片来自淘宝数据仓库团队交流过程中的sildes,也参考了一些相关文档。 业务背景 TimeTunnel(简称TT)是一个基于thri...
更新时间 2023-05-15 11:05:05
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子