云原生数据仓库AnalyticDB MySQL版架构设计的相关内容

文章 2025-03-01 来自：开发者社区

Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

摘要：本文整理自阿里云实时数仓 Hologres 负责人姜伟华老师在 Flink Forward Asia 2024 行业解决方案（二）专场中的分享。主要分为以下三个方面：实时数仓的发展历程从实时数仓到实时湖仓总结 01 实时数仓的发展历程以一个典型客户案例来回顾实时数仓的发展历程。...

文章 2025-02-12 来自：开发者社区

Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

摘要：本文整理自阿里云实时数仓 Hologres 负责人姜伟华老师在 Flink Forward Asia 2024 行业解决方案（二）专场中的分享。主要分为以下三个方面：实时数仓的发展历程从实时数仓到实时湖仓总结 01 某客户实时数仓架构的三代发展历程以一个典型客户案例来回顾实时数仓的发展历程。（1）第一代实时数仓：Lambda架构，离线实时分别计算自大数据...

文章 2024-05-23 来自：开发者社区

企业数仓架构设计实践

引言作为刚加入一家企业的数据架构师，我面临着一个充满挑战的任务——设计并实施一套高效、可扩展的企业级数据仓库架构。这项工作不仅关乎技术的深度应用，更考验着对业务理解的广度与深度。本文将从理论基础、工具选型到实践过程，分享我的思考与实践之旅。理论基础：理解现代数仓架构数据仓库概念数据仓库(DW)是一个面向主题的、集成的、非易失的、随时...

文章 2023-10-19 来自：开发者社区

在上篇文章中，我们向大家解释了为什么实时湖仓是当前企业数字化转型过程中的解决之道，介绍了实时计算和数据湖结合的应用场景。（“数据驱动”时代，企业为什么需要实时湖仓？）在这篇文章中，我们将详细介绍在数栈实时开发平台内，实时湖仓的功能架构设计和具体实操案例。功能架构介绍实时湖仓并不是一个独立的产品模块，它的完整实践是基于数栈实时开发平台进行的。为了更直观地介绍我们建设实时湖仓的完整思路，我们单独拆出....

文章 2023-10-10 来自：开发者社区

直播预约丨《实时湖仓实践五讲》第二讲：实时湖仓功能架构设计与落地实战

如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家，结合实践案例分析，和听众共同探讨实时湖仓领域的前沿技术。《实时湖仓实践五讲》第二讲——《实....

文章 2023-08-31 来自：开发者社区

【附下载】实时数仓架构设计与选型

这是彭文华的第99篇原创好几位朋友在后台留言，说要看看各大厂都是咋玩实时数仓的。其实，实时数仓和离线数仓在模型设计的时候是一样一样的，只是需要计算引擎和存储不太一样而已。然后再解决实时计算场景中的几个问题就齐了。今天给大家分享实时数仓的架构。实时计算架构选型目前实时架构方法是Lambda和Kappa。1、Lambda 架构Lambda架构核心就三个：批数据处理层、流数据处理层和服务层。批数据处理....

文章 2022-06-15 来自：开发者社区

数仓实践：总线矩阵架构设计2

优点总线矩阵是数仓建设的纲领性文件，不论是从零开始一个项目，还是中途接手一个项目，总线矩阵总是最好的切入点。总线矩阵有利于主数据管理。核心维度由数据管理责任人定义，在多个业务过程中使用，而不是被单一业务过程或部门定义，提供一致性维度，实现跨业务过程钻取的需求。总线矩阵列表示整个企业的公共维度，有助于创建核心维度列表，解决主数据管理和数据集成的需求。总线矩阵有利于项目规划和排期。总线矩阵将业务过程....

文章 2022-06-15 来自：开发者社区

数仓实践：总线矩阵架构设计1

如何设计一套切实可行的数据仓库呢？我们要明白，对于数据仓库的设计是不能完全依赖于业务的需求，但往往又必须要服务于业务的价值。因此，在构建数据仓库前，我们往往会通过总线矩阵设计，来快速理解业务并规划数据仓库体系。以求从宏观的角度来描述企业的业务和数据现状，并指导后续的数据仓库建模。不妨先来看看，祖师爷 Kimball 在书中对总线矩阵的定义：总线矩阵：提供一种分解企业DW/BI规划任务的合理方式，....

文章 2022-02-17 来自：开发者社区

从Lambda架构到Kappa架构再到？浅谈未来数仓架构设计~

Linked大佬Jay Kreps曾发表过一篇博客，简单阐述了他对数据仓库架构设计的一些想法。从Lambda架构的缺点到提出基于实时数据流的Kappa架构。本文将在Kappa架构基础上，进一步谈数仓架构设计。什么是Lambda架构？借用Jay Kreps的一张图来看，Lambda架构主要由这几部分构成：数据源...