文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(1)

作者:姚冬阳 用户背景 美团作为一家吃、喝、行、游、购、娱一站式的平台,要创造的价值不仅是帮大家吃得更好,还要为人们的生活创造更多的价值,帮大家日常生活的方方面面变得更好,帮大家的旅行生活变得更好。 平台现状美团于 2018 年首次引入 Flink 实时计算引擎,当时的实时数仓概念还不太普及,平台只提供了 Flink Jar 任务的生命周期管理和监控报警。   2019 年,美团注意到....

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(1)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(2)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(1) https://developer.aliyun.com/article/1228308应用场景美团实时数仓业务主要包含两类实时生产链路:第一类应用场景是基于 FlinkSQL + OLAP 的实时生产链路。这个业务链路的实时数据源有两个,分别是业务 DB 的变更事件和业务服务的日志....

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(2)
高性能

Flink 与 Hologres 搭建实时数仓

本方案将 Hologres 与 Flink 深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。
技术解决方案背景图
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(3)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(2) https://developer.aliyun.com/article/1228306对于上述问题,我们提出了冷热关联分离的解决方案。假设关联两天前的数据是相对低频的且状态回滚不会超过两天,那么可以定义两天前的数据为冷数据,两天之内的数据为热数据。 如上图所示,左侧的 SQL 作业....

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(3)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(4)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(3) https://developer.aliyun.com/article/1228304第 3 个问题是 FlinkSQL 调试繁琐,操作步骤多,业务需要创建额外的作业和 Kafka,还要将导出的结果进行存储。此外,输入构造复杂,为了针对性地调试某种输入场景,业务需要写代码来构建消息....

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(4)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(上)

作者:邹云鹤用户背景 BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务),Likee (短视频创作分享平台),IMO (免费通信工具) 三部分,在全球范围内拥有 4 亿用户。 业务需求 伴随着BIGO业务的发展,对数据平台处理能力的要求越来越高,平台所面临的问题也日益凸显。BIGO 大数据平台的数据流转图如下所示: 用户在 APP,....

《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(上)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(下)

《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(上) https://developer.aliyun.com/article/1228256实时数仓建设和优化  为了提升 BIGO 大数据平台上某些业务指标的产出效率,以及更好的管理 Flink 实时任务,BIGO 大数据平台建设了实时计算平台....

《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(下)
问答 2023-05-16 来自:开发者社区

Flink 中现在实时数仓一般是怎么做的啊?

Flink 中现在实时数仓一般是怎么做的啊?

文章 2023-04-06 来自:开发者社区

快手基于 Apache Flink 的实时数仓建设实践

摘要:本文整理自快手实时数据开发工程师冯立,快手实时数据开发工程师羊艺超,在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分:快手实时数仓的发展实时数仓建设方法论实时数仓场景化实战未来规划点击查看直播回放和演讲 PPT一、快手实时数仓的发展作为短视频领域的领头羊,快手 APP 一直致力于视频、直播技术的迭代,其背后对数据实时性、准确性的要求非常高,这....

快手基于 Apache Flink 的实时数仓建设实践
问答 2023-04-05 来自:开发者社区

多库多表可以通过flink一个任务同步到hologres吗?

多库多表可以通过flink一个任务同步到hologres吗?

问答 2023-03-29 来自:开发者社区

各位大佬flink-cdc现在支持连接hologres吗?能全增量一体化的连接吗?

各位大佬flink-cdc现在支持连接hologres吗?能全增量一体化的连接吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时数仓Hologres

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。欢迎加入钉群:实时数仓Hologres交流群32314975

+关注