易仓科技成立于 2013 年,致力于构建智能协同的跨境网络,让全球贸易更轻松。经过 9 年的积累沉淀,产业链 SaaS+ 生态链协同的服务模式,已发展成为跨境电商行业的头部企业。目前租户分布全球,数据来自各大洲,汇集国外各大电商平台各个站点销售数据。
数据分布三大洲,如何集中统一计算存在挑战。
SaaS 租户数据库级别物理隔离,分系统分库分表,百万张表需要实现同步。
需确保数据在准确的基础上达到毫秒级别同步入仓。
为解决上述问题,技术团队在选型上进行了大量调研和深度测试:
租户数据库分布在阿里云 RDS 以及 PolarDB 的几百个实例,分散在国内外各大 Region,DTS 同时支持全库全表同步以及可选择库表。单个 DTS 同步表数量没有限制,高度匹配易仓复杂的业务场景。
DTS 将国内外数据集中实时同步到统一华南区域的 Kafka,保证数据准确,时效在毫秒级别。
由 Flink 实时消费 Kafka 数据写到实时数仓 Hologres,借助 Maxcompute 与实时数仓 Hologres 的互通能力,完成复杂的分析计算。
亿万数据量级的业务订单表,实现了从数据源端到数据中心的业务延迟控制在毫秒级别,基于此数据中心实现了秒级别的业务响应。