问答 2022-07-28 来自:开发者社区

请问下Flink SQL如何写hologres分区表?我想要每天一个分区

请问下Flink SQL如何写hologres分区表?我想要每天一个分区

问答 2022-07-03 来自:开发者社区

flink中创建hologres的数据源表table1,参数cdcmode=true binlog=

flink中创建hologres的数据源表table1,参数cdcmode=true binlog=true ,那表table1中的数据是对应hologres中table1所有的数据还是当前binlog中的数据?

高性能

Flink 与 Hologres 搭建实时数仓

本方案将 Hologres 与 Flink 深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。
技术解决方案背景图
文章 2022-06-22 来自:开发者社区

美团基于 Flink 的实时数仓平台建设新进展

摘要:本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括:平台建设现状遇到的问题及解决未来规划点击查看直播回放 & 演讲PDF一、平台建设现状美团于 2018 年首次引入 Flink 实时计算引擎,当时的实时数仓概念还不太普及,平台只提供了 Flink Jar 任务的生命周期管理和监控报警。2019 年,我们注意到实....

美团基于 Flink 的实时数仓平台建设新进展
文章 2022-06-13 来自:开发者社区

【实时数仓篇】(01)美团 Flink 实时数仓应用2

4.3 DW层的建设解决原始数据中数据存在噪声、不完整和数据形式不统一的情况。形成规范,统一的数据源。如果可能的化尽可能和离线保持一致。4.4 实时数仓维度数据建设变化频率低的维度可以通过离线仓库的维度数据,同步到缓存,或者通过公共服务提数据。通过维度服务查询,对用户屏蔽细节。变化频率高的维度通过维度数据的变化的消息构建拉链表通过事实数据计算衍生维度构建拉链表Tips:可以通过Hbase的MIN....

【实时数仓篇】(01)美团 Flink 实时数仓应用2
文章 2022-06-13 来自:开发者社区

【实时数仓篇】(01)美团 Flink 实时数仓应用1

文章目录一、前言二、实时数仓建设目的三、实时数仓的应用场景四、如何建设实时数仓4.1 实时数仓的整体的架构图4.2 ODS层的建设4.3 DW层的建设4.4 实时数仓维度数据建设4.5 实时数仓维度的使用4.6 实时数仓汇总层的建设五、仓库的质量保证一、前言本文是学习Flink社区在B站的实时数仓篇第一节课程的总结,1. Flink 实时数仓的应用讲师:黄伟伦(美团点评 数据系统研发工程师)。二....

【实时数仓篇】(01)美团 Flink 实时数仓应用1
问答 2022-05-10 来自:开发者社区

Flink+Hologres组合作为实时数仓有哪2条路径?

Flink+Hologres组合作为实时数仓有哪2条路径?

文章 2022-04-27 来自:开发者社区

基于Flink构建全场景实时数仓

目录:一. 实时计算初期二. 实时数仓建设三. Lambda架构的实时数仓四. Kappa架构的实时数仓五. 流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面形成不了完整的体系,基本所有的开发都是具体问题具体分析,来一个需求做一个,基本不考虑它们之间的关系,开发形式如下:早期实时计算如上图所示,拿到数据源后,会....

基于Flink构建全场景实时数仓
问答 2022-04-15 来自:开发者社区

在 Flink 全托管中使用 Hologres 维表有什么限制?

在 Flink 全托管中使用 Hologres 维表有什么限制?

问答 2022-04-15 来自:开发者社区

Flink+Hologres 的写入场景有几种?

Flink+Hologres 的写入场景有几种?

文章 2022-02-14 来自:开发者社区

基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓

本文基于Flink SQL与hudi构建准实时数仓,在Flink从kafka接入数据之后,即将所有数据存于hudi中,包括所有中间处理数据以及最终数据。文章《实时数仓|基于Flink1.11的SQL构建实时数仓探索实践 (qq.com)》描述了基于Flink SQL与kafka构建的实时数仓,本文以上述文章为基础。 在完成本文实践的同时可以同步参考上述文章。 最终结果: ...

基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时数仓Hologres

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。欢迎加入钉群:实时数仓Hologres交流群32314975

+关注