客户案例 > 案例详情
替换 Kudu,Hologres 助力好未来网校实时数仓降本增效

学而思网校,作为好未来旗下在线教育品牌,在使用阿里云实时数仓 Hologres 替换 Kudu OLAP 引擎后,实现实时数仓降本增效,助力业务更加精细化增长。

客户介绍

好未来(NYSE:TAL)是一家以智慧教育和开放平台为主体,在全球范围内服务公办教育,助力民办教育,探索未来教育新模式的科技教育公司。好未来以“爱和科技让教育更美好”为使命,致力成为受尊敬的教育机构。当前,好未来已构建起从工具、平台到内容的多元化教育生态,满足从 0 岁到 24 岁各年龄段人群的学习需求。

好未来的前身是学而思,在 2003 年成立,并在 2010 年于美国纽交所正式挂牌交易。目前,好未来旗下拥有学而思素养、学而思网校、彼芯、美校、学而思国际、学而思文创出版中心、学而思大学生、妈妈帮等品牌,并战略投资了赫石少儿体能等多个品牌。集团业务覆盖素质教育、技术服务、海外教育服务、数字内容出版、教育硬件、托管服务等领域。

学而思网校,作为好未来旗下在线教育品牌,为 6-14 岁的孩子提供素质教育服务。2008 年成立至今,积累了十余年教研经验和学习数据,在家长间口口相传。学而思网校首创“直播+辅导”的双师教学模式,大力投入 AI 和全真互联网等前沿技术,持续推动教育创新。

业务挑战

学而思网校的实时数仓 1.0 自 2019 年起基于 Kudu OLAP 引擎搭建,初期运行良好且性能高。但随着 2020 年业务快速增长,数仓需求激增,Kudu 出现技术瓶颈,成本和运维问题显现。在 2021 年 7 月教育行业政策的影响下,公司业务面临缩减和转型,导致资源浪费严重,促使公司寻求成本更低的实时数仓 OLAP 解决方案。

阿里云的解决方案
Hologres 读写分离部署全面替换 Kudu

通过 Hologres 替换了 Kudu 的所有数据处理链路,同时也通过 Hologres 读写分离部署的方式,以只读从实例(简称从库)替换了原 PolarDB/MySQL 等查询引擎,以此构成了实时数仓 2.0。实时数仓 2.0 的数据链路如下。

1.数据分为离线和实时两部分。离线部分数据源数据通过集团采集工具 T-Collect 接入 Hologres ODS 层,实时部分通过 Flink 实时接入 MySQL Binlog、埋点日志等数据入仓。

2.在 Hologres 中对数仓分为 ODS、DWD、DWS、ADS 等 4 层,每一层的数据通过集团 T-Data 平台分钟级调度、清洗,并最后由 Hologres 从库提供线上服务出口。

3.实时和离线数据统一由 Hologres 存储,并由从库作为查询引擎统一提供线上数据出口,支撑的业务场景包括实时看板、实时大屏、实时接口服务、实时推送等场景。

子案例正文
查询引擎统一切换到 Hologres 从实例

实时数仓 1.0 计算在 Kudu 中,算完之后把结果同步到查询引擎 PolarDB 或者 MySQL 中,实时链路相对来说比较长,而且数据移动成本也很高,对实时数据的稳定性有一定的影响。

实时数仓 2.0 中,我们采用 Hologres 共享存储多实例的高可用部署方案,Hologres 主实例承载数据的加载、计算,从库共享主库的所有表和数据承载数据查询,实现读写分离方案,并且从库作为实时数仓唯一的数据出口,统一数仓技术架构。这种方案的好处是减少了 ADS 层数据同步导出链路的维护,降低了开发成本。

Hologres 的共享存储多实例的高可用部署方案如下图所示。

子案例正文
业务价值

学而思网校实时数仓 2.0 经过半年多的建设,在成本治理上取得了非常好的效果。相比于 1.0 版实时数仓,阿里云实时数仓 Hologres 更加稳定、可靠,建设成本也更低,实现实时数仓降本增效,助力业务更加精细化增长。同时,好未来计划对外开放 Hologres 从库 ADS 层,分析师或者懂 SQL 的产品老师后期可通过集团 T-Query 平台查询工具对实时数据探索、分析,自满足部分临时需求,减少人工需求、释放实时数仓开发人力。另外基于 Hologres 的实时数仓架构在集团推广应用上也有比较成功的案例。

百万级写入和毫秒级查询能力

实际业务中,Hologres 的写入能力达到百万行+/秒,业务能快速拿到数据并查询。同时 Hologres 在查询上不仅能支持秒级 OLAP 分析,还能支持在线服务毫秒级响应,使得业务探索数据的效率变得更快。通过 Hologres 多子实例的部署方式,天然支持了学而思网校网校实时数仓的多个查询场景,统一了数据的出口,简化了数仓的使用。同时 Hologres 写入和查询之间互不影响,非常有效地做到了读、写分离。

降低成本近百万/年

实时数仓底座升级 Hologres 后,无需维护多套系统。通过 Hologres 一套系统支持了实时数仓的全部场景,OLAP 引擎成本相比 Kudu 节约了近百万/年的费用。在公司业务转型背景下,通过数据治理、任务治理等使得任务数下降 80%,Yarn 队列资源成本节约几十万/月,数据冗余存储减少 90%,提升了数据的利用率。

减少运维压力

通过 Hologres 替换 Kudu 后,依托阿里强大的技术运维能力,很大程度上减少了我们在运维层面上的压力,更加专注于业务开发,有更多精力去做好实时数据的稳定性、准确性、及时性,把用户体验做好。周末、暑假等业务高峰资源不足时,可随时扩容,业务低峰时,可以对资源进行缩容处理,做到很好的一个资源伸缩和成本控制。

集团内 Hologres 实时数仓架构推广

网校实时数仓天然带有 K9 基因,希望学成功复制网校实时数仓 2.0 架构,并承载核心实时数据服务,比如实时续报、转化、企微等。

使用的阿里云产品
免费试用