在线互联网业务主要包括实时事务处理(OLTP)和实时数据分析(OLAP)两个场景,同一系统集成 OLTP 和 OLAP 能够实现实时数据分析查询与事务处理的无缝结合,从而优化用户体验。然而在自建 OLAP 和 OLTP 过程会面临一些较大的挑战。
需要维护两套不同技术体系的数据库系统,由于两套系统处理机制的差异,增加了架构的复杂度和运维成本。
数据在 OLTP 系统向 OLAP 系统同步时,任何延时都会影响下游 OLAP 系统分析查询的实时性。
两个独立系统之间的数据同步会引入数据一致性问题,尤其在高并发场景下该问题会突显。
需要投入大量的硬件资源以保证性能,此外自建系统需要投入专业的运维团队进行管理和维护。
阿里云 PolarDB MySQL 版列存索引主要面向 OLAP 场景大数据量复杂查询,实现了一体化的实时事务处理和实时数据分析的能力,成为一站式 HTAP 数据库产品解决方案。通过一套数据库系统,即可满足业务的 OLTP 和 OLAP 需求。
自建实时数据分析 | VS | 基于 PolarDB 列存索引一站式HTAP方案 |
研发复杂度高 复杂的系统搭建与维护,有限的协议兼容性,影响应用快速对接;性能优化难度大,手动优化存储、执行引擎效率及并行处理复杂,难以快速实现高性能查询。 | 易用性 | 快速开启 & 100%兼容 MySQL 用户仅需通过添加列存只读节点及 DDL 语句即可完成对列存索引快速接入,提供支持行列混合执行的优化器100%兼容 MySQL 协议。 |
数据同步存在延迟 自建 OLAP 系统在数据同步过程中存在ETL数据抽取、转换和加载步骤会引入延时,此外网络传输、数据校验和资源竞争会进一步增加延时,导致分析结果滞后,无法及时反映最新数据状态。 | 实时性 | 行存与列存实时同步 PolarDB 采用行列混合存储技术,行存储(服务于OLTP)与列存储(服务于OLAP)并存,且两者之间的数据保持实时一致性。当行存储中的数据发生变化时,这些更改会立即反映到列存中,使得分析型查询能够立即获取到最新的数据状态。 |
一致性无法保障 自建 OLAP 系统难以保证实时的事务一致性,尤其在读写分离架构中,容易因主从复制延迟导致查询结果不一致。 | 一致性 | 保障事务级别一致性 PolarDB 通过事务级的数据一致性和高效的行转列处理机制,确保了列存索引中的数据与实时业务操作保持高度同步,满足了实时数据分析的需求。 |
投入成本高 较高的固定硬件成本,需要自行部署和维护硬件及软件;资源利用率不足,难以实现按需弹性伸缩,导致资源闲置浪费;后期持续运维依赖较高专业技能,人力成本高昂。 | 成本 | 按量付费和弹性扩缩 PolarDB 列存索引功能免费使用,仅收取只读列存节点计算以及列存索引的存储费用,此外,PolarDB 提供 Serverless 模式可节省高达90%的数据库成本,通过资源按需使用和精细计费模式进一步降低整体开支。同时减少了对专业开发人员的依赖,降低人力和时间成本,总体投入较低。 |
本方案为您介绍在电商业务场景下,通过云原生数据库 PolarDB MySQL 版列存索引(In-Memory Column Index,简称 IMCI)实现大数据量场景下的高性能复杂查询,助力业务实现一站式 HTAP。