文章 2022-08-24 来自:开发者社区

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

作者|徐榜江 余文兵 赵红梅编辑|伍翀随着大数据的迅猛发展,企业越来越重视数据的价值,这就意味着需要数据尽快到达企业分析决策人员,以最大化发挥数据价值。企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。在业务建设过程中,实时数仓需要支持数据实时写入与更新、业务敏捷快速响应、数据自助分析、运维操作便捷、云原生弹性扩缩容等一系列需求,而这就依赖一个强大的实时数仓解决方案。阿里云实时计算 F....

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓
问答 2022-08-04 来自:开发者社区

我这边业务存在两个大表关联后的数据到数仓的场景,(比如公司表和股东表关联)这种场景适合用flink吗

我这边业务存在两个大表关联后的数据到数仓的场景,(比如公司表和股东表关联)这种场景适合用flink吗?

问答 2022-07-26 来自:开发者社区

麻烦问下有没有类似Flink+Hologre方案的Flink+ADB的离线/实时一体化数仓的完整技术

麻烦问下有没有类似Flink+Hologre方案的Flink+ADB的离线/实时一体化数仓的完整技术方案或者成功案例呢

文章 2022-06-22 来自:开发者社区

美团基于 Flink 的实时数仓平台建设新进展

摘要:本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括:平台建设现状遇到的问题及解决未来规划点击查看直播回放 & 演讲PDF一、平台建设现状美团于 2018 年首次引入 Flink 实时计算引擎,当时的实时数仓概念还不太普及,平台只提供了 Flink Jar 任务的生命周期管理和监控报警。2019 年,我们注意到实....

美团基于 Flink 的实时数仓平台建设新进展
文章 2022-06-13 来自:开发者社区

【实时数仓篇】(01)美团 Flink 实时数仓应用2

4.3 DW层的建设解决原始数据中数据存在噪声、不完整和数据形式不统一的情况。形成规范,统一的数据源。如果可能的化尽可能和离线保持一致。4.4 实时数仓维度数据建设变化频率低的维度可以通过离线仓库的维度数据,同步到缓存,或者通过公共服务提数据。通过维度服务查询,对用户屏蔽细节。变化频率高的维度通过维度数据的变化的消息构建拉链表通过事实数据计算衍生维度构建拉链表Tips:可以通过Hbase的MIN....

【实时数仓篇】(01)美团 Flink 实时数仓应用2
文章 2022-06-13 来自:开发者社区

【实时数仓篇】(01)美团 Flink 实时数仓应用1

文章目录一、前言二、实时数仓建设目的三、实时数仓的应用场景四、如何建设实时数仓4.1 实时数仓的整体的架构图4.2 ODS层的建设4.3 DW层的建设4.4 实时数仓维度数据建设4.5 实时数仓维度的使用4.6 实时数仓汇总层的建设五、仓库的质量保证一、前言本文是学习Flink社区在B站的实时数仓篇第一节课程的总结,1. Flink 实时数仓的应用讲师:黄伟伦(美团点评 数据系统研发工程师)。二....

【实时数仓篇】(01)美团 Flink 实时数仓应用1
问答 2022-05-13 来自:开发者社区

在实时数仓的解决方案中,怎样凭借 Flink 的流式处理优势做到实时读写 Hive?

在实时数仓的解决方案中,怎样凭借 Flink 的流式处理优势做到实时读写 Hive?

问答 2022-05-10 来自:开发者社区

Flink+Hologres组合作为实时数仓有哪2条路径?

Flink+Hologres组合作为实时数仓有哪2条路径?

文章 2022-04-27 来自:开发者社区

基于Flink构建全场景实时数仓

目录:一. 实时计算初期二. 实时数仓建设三. Lambda架构的实时数仓四. Kappa架构的实时数仓五. 流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面形成不了完整的体系,基本所有的开发都是具体问题具体分析,来一个需求做一个,基本不考虑它们之间的关系,开发形式如下:早期实时计算如上图所示,拿到数据源后,会....

基于Flink构建全场景实时数仓
文章 2022-02-17 来自:开发者社区

实时数仓入门训练营:实时计算Flink版总体介绍

本文整理自直播《实时计算Flink版总体介绍-莫问 》视频链接:https://developer.aliyun.com/learning/course/807/detail/13885Apache Flink技术发展大数据的高速发展已经超过10年,大数据也正在从计算规模化向更加实时化的趋势演进。比如阿里巴巴举办的购物狂环节双11,可以通过实时大屏展示整个双11实时的交易额、成交额,并可实现毫秒....

实时数仓入门训练营:实时计算Flink版总体介绍

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注