小迈科技成立于 2015 年 1 月,是一家致力以数字化领先为优势,实现业务高质量自增长的移动互联网科技公司。始终坚持以用户价值为中心,以数据为驱动,为用户开发丰富的工具应用、休闲游戏、益智、运动等系列的移动应用。以成为全球领先开发者增长服务平台为愿景及使命,小迈希望通过标准化的产品和服务赋能,为开发者提供全链路解决方案,以技术 + 服务全方位保驾护航,助燃产品持续增长,帮助工具和休闲游戏的开发者提升产品的成功率。
小迈科技累计开发 400 余款产品,累计用户下载安装量破七亿,日活 500~1000 万,数据量每天 100 亿+。围绕高质量 App、用户增长和商业化变现,公司通过大数据技术相继搭建了商业化变现、智能推广、财务管理等 10+ 应用系统。
小迈科技用户量指数级增长,业务团队对数据实时化、精细化的要求提升,大数据系统开始备受挑战,如何更好地通过数仓建设为业务增长赋能成为重要突破点。
小迈科技引入离线数仓后,基本满足了整个公司各个角色的分析和决策需求,但也会频繁出现数据产出变慢,甚至卡死的问题,这严重影响了业务决策的效率,导致被业务部门投诉。为了更好地解决业务诉求,小迈科技在原有离线数仓的基础上引入了阿里云的 Hologres 和 Flink,并由 Hologres 替换某 DB,搭建了流批一体的实时数仓。主要数据链路如下:
日志数据和业务数据 Kafka 通过 DataWorks 实时同步写入 MaxCompute,实时落地 ODS 层;对于数据时效性要求较高的业务,直接写入 Flink,Flink 里面进行实时 ETL 处理,然后写入 Hologres。
三方数据则是通过 DataWorks 离线同步至 MaxCompute,在 MaxCompute 中进行数仓分层(ODS、DWD、DWS、ADS)建设,并将处理好的数据直接写入 Hologres。
由 Hologres 存储实时和离线数据,并直接对接上层应用,承载业务系统的多种查询要求,实现流批一体的实时数仓。
通过 Hologres+Flink+MaxCompute 搭建的流批一体实时数仓平台,支撑了小迈多个应用场景,包括监控大盘,DMP 人群等智能投放,财务分析等。显著的业务收益有:
数据共享之后就由平台统一对外输出服务,各个业务线无需自行重复开发,就能快速得到平台提供的数据支撑,减少了数据孤岛。
通过 Hologres 自身的优秀查询性能,再配合建表和 SQL 的优化手段,大大提高了报表的响应速度,即使是用户画像、行为分析等亿级大表复杂关联查询也能很快出结果,得到了业务的认可。
通过 Hologres 共享存储实例部署的方式,让业务实现了读写分离,同时也只用了一份存储,既保证了系统的稳定性,同时也不会带来额外的成本压力。