文章 2025-03-01 来自:开发者社区

​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计

摘要:本文整理自阿里云实时数仓 Hologres 负责人姜伟华老师在 Flink Forward Asia 2024 行业解决方案(二)专场中的分享。主要分为以下三个方面: 实时数仓的发展历程 从实时数仓到实时湖仓 总结 01 实时数仓的发展历程 以一个典型客户案例来回顾实时数仓的发展历程。...

​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
文章 2025-02-12 来自:开发者社区

Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计

摘要:本文整理自阿里云实时数仓 Hologres 负责人姜伟华老师在 Flink Forward Asia 2024 行业解决方案(二)专场中的分享。主要分为以下三个方面: 实时数仓的发展历程 从实时数仓到实时湖仓 总结 01 某客户实时数仓架构的三代发展历程 以一个典型客户案例来回顾实时数仓的发展历程。 (1)第一代实时数仓:Lambda架构,离线实时分别计算 自大数据...

Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
文章 2024-11-24 来自:开发者社区

实时数仓Kappa架构:从入门到实战

引言 随着大数据技术的不断发展,企业对实时数据处理和分析的需求日益增长。实时数仓(Real-Time Data Warehouse, RTDW)应运而生,其中Kappa架构作为一种简化的数据处理架构,通过统一的流处理框架,解决了传统Lambda架构中批处理和实时处理的复杂性。本文将深入探讨Kappa架构的历史背景、业务场景、功能点、优缺点、解决的问题以及底层原理,并详细介绍如何使用Jav...

文章 2024-11-04 来自:开发者社区

AnalyticDB 实时数仓架构解析

数据模型AnalyticDB 采用标准的关系数据模型,支持标准的 SQL 访问(兼容 MySQL 协议)。为了实现系统扩展,AnalyticDB 支持量两级分区能力。如下图所示,数据根据 id 列分到50个 partition,称为 primary partition;在 primary parti...

AnalyticDB 实时数仓架构解析
文章 2024-09-01 来自:开发者社区

Hologres 的架构设计与工作原理

# 引言 随着大数据时代的到来,实时分析和处理数据的需求日益增长。传统的数据仓库在处理大规模实时数据分析时逐渐显露出性能瓶颈。为了解决这些问题,阿里巴巴集团研发了一款名为 Hologres 的新型云原生交互式分析数据库。Hologres 能够支持 SQL 查询,并且能够实现实时的数据写入和查询,这使得它成为处理大规模实时数据的理想选择。 什...

文章 2024-08-22 来自:开发者社区

实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决

问题一:在边缘计算场景中,云边网络面临的主要挑战是什么? 在边缘计算场景中,云边网络面临的主要挑战是什么? 参考回答: 在边缘计算场景中,云边网络面临的主要挑战是云边网络组网,特别是私有自建的 IDC 场景,需要解决运营商网络产品化不足、私有 IDC 防火墙等复杂产品的配置问题,需要专业的网络人员才能完成实施工作。 关于本问题的更多问...

实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
问答 2024-08-19 来自:开发者社区

快手实时数仓保障体系架构的正向保障思路是什么?

快手实时数仓保障体系架构的正向保障思路是什么?

问答 2024-08-19 来自:开发者社区

小米APP近实时数仓的架构中,日志数据是如何处理的?

小米APP近实时数仓的架构中,日志数据是如何处理的?

文章 2024-08-14 来自:开发者社区

大数据-数据仓库-实时数仓架构分析

数仓分层 分层 ...

大数据-数据仓库-实时数仓架构分析
问答 2024-07-24 来自:开发者社区

实时数仓如何解决了Lambda架构的问题?

实时数仓如何解决了Lambda架构的问题?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时数仓Hologres

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。欢迎加入钉群:实时数仓Hologres交流群32314975

+关注