在这个以数据驱动决策为核心的时代,OLAP分析成为了企业大数据技术栈中越来越核心的方向。但是技术栈选择多、查询性能慢、数据不一致、多处维护、数据需求响应慢等难题极大限制了OLAP分析在企业中的应用落地。
Hologres提供统一、实时、弹性、易用的一站式实时数仓引擎,分析性能卓越,一份数据可同时支持多维分析、即席分析、在线服务、向量计算等多种场景,替换各类OLAP 引擎(ClickHouse/Doris/Greenplum/Presto/Impala等)、KV 数据库(HBase/Redis等)。
传统OLAP | VS | Hologres |
操作复杂 使用开源工具,操作较为复杂,对同步的方式支持不一样,可能会用到多种同步技术栈。 | 数据同步 | 简单快捷 使用界面化工具DataWorks数据集成,包含单表、整库、分库分表的实时、离线、全增量的同步方式。 |
查询性能弱 查询场景丰富度不够,部分场景在性能上较弱。 | 查询性能 | 查询性能强 多表Join性能好、高QPS点查TPC-H 30000GB。 |
容易互相影响 资源隔离性不佳,发生故障或者大查询时容易互相影响。 | 稳定性 | 互相隔离且稳定性强 计算组(warehouse)隔离,同时支持自动路由,保证各个实例查询稳定性,Serverless Computing隔离大作业。 |
开发、运维等成本高 对于多种技术栈,上手难度高,运维也比较复杂,导致各种成本增加。 | 开发效能 | 成本低 一站式集成,快速上手,效率显著提升,同时多种Serverless弹性模式帮助降本。 |
DataWorks数据集成可以将Mysql、PG等数据库中数据进行单表、整库、分库分表实时同步到Hologres,也可以将Clickhouse等整体迁移到Hologres。数据存储在Hologres中,通过Hologres强大的查询性能,可以直接对数据进行查询。除了OLAP分析,还可以同时满足即席查询、在线服务,向量计算等多种查询方式,构建一站式实时数据分析平台。
本方案将Hologres与Flink深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。
本方案是基于开放可控数据湖仓构建的大数据/搜索/AI一体化解决方案。通过元数据管理平台DLF管理结构化和半/非结构化数据,提供湖仓数据表和文件的安全访问及IO加速。支持多引擎对接和平权协同计算,通过DataWorks统一开发,并保障大规模任务调度。