文章 2025-04-17 来自:开发者社区

网易游戏 x Apache Doris:湖仓一体架构演进之路

导读:网易游戏引入 Apache Doris 升级架构,先是替换 Elasticsearch、Hbase、Clickhouse 构建了实时数仓,而后基于 Apache Doris 和 Iceberg 构建了湖仓融合架构,实现架构的大幅简化及统一。目前,网易游戏 Apache Doris 集群超 20 个 ,总节点数百个,已对接内部 200+ 项目,日均查询量超过 1500 万,总存储数据量 PB....

网易游戏 x Apache Doris:湖仓一体架构演进之路
文章 2025-03-24 来自:开发者社区

vivo 湖仓架构的性能提升之旅

作者:郭小龙 vivo互联网 大数据高级研发工程师 导读:本文整理自 vivo互联网 大数据高级研发工程师 郭小龙 在 StarRocks 年度峰会上的分享,聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。在 即席分析 场景,StarRocks 使用占比达 70%,查询速度提升 3 倍&#x...

vivo 湖仓架构的性能提升之旅
高性能

构建OLAP全场景,揭秘实时/离线数仓一体化架构

随着企业的业务数据量和数据源不断增加,分析的难度和复杂度显著提升。AnalyticDB MySQL 提供了一个能整合多类型数据源,确保数据的一致性和完整性、高效的数据分析平台, 支持复杂查询和分析需求,能够快速洞察数据价值,更好地支撑业务决策。
技术解决方案背景图
文章 2025-03-03 来自:开发者社区

小红书湖仓架构的跃迁之路

作者:李鹏霖(丁典),小红书-研发工程师,StarRocks Contributor & Apache Impala Committer 本文整理自小红书工程师在 StarRocks 年度峰会上的分享,介绍了小红书自助分析平台中,StarRocks 与 Iceberg 结合后,如何实现极速湖仓分析架构。 与原有架构相比,湖上分析架构的 P90 查询性能提升了...

小红书湖仓架构的跃迁之路
文章 2025-03-01 来自:开发者社区

​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计

摘要:本文整理自阿里云实时数仓 Hologres 负责人姜伟华老师在 Flink Forward Asia 2024 行业解决方案(二)专场中的分享。主要分为以下三个方面: 实时数仓的发展历程 从实时数仓到实时湖仓 总结 01 实时数仓的发展历程 以一个典型客户案例来回顾实时数仓的发展历程。...

​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
文章 2025-02-13 来自:开发者社区

湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构

浙江霖梓是一家专注于深度学习和人工智能应用的金融创新企业,为企业提供精准经营决策,并基于大数据的风控能力的一系列高效便捷的金融服务产品。随着业务的持续扩展,大数据业务系统的局限逐渐暴露:报表系统计算缓慢、运维成本持续攀升、组件间的高度耦合导致架构稳定性较差等,严重影响了大数据系统产出效率,因此浙江霖梓引入 Doris+Paimon 重新构建了实时/离线一体化湖仓架构,为反欺诈策略、用户⾏为分析、....

湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
文章 2025-02-12 来自:开发者社区

Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计

摘要:本文整理自阿里云实时数仓 Hologres 负责人姜伟华老师在 Flink Forward Asia 2024 行业解决方案(二)专场中的分享。主要分为以下三个方面: 实时数仓的发展历程 从实时数仓到实时湖仓 总结 01 某客户实时数仓架构的三代发展历程 以一个典型客户案例来回顾实时数仓的发展历程。 (1)第一代实时数仓:Lambda架构,离线实时分别计算 自大数据...

Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
文章 2024-11-24 来自:开发者社区

实时数仓Kappa架构:从入门到实战

引言 随着大数据技术的不断发展,企业对实时数据处理和分析的需求日益增长。实时数仓(Real-Time Data Warehouse, RTDW)应运而生,其中Kappa架构作为一种简化的数据处理架构,通过统一的流处理框架,解决了传统Lambda架构中批处理和实时处理的复杂性。本文将深入探讨Kappa架构的历史背景、业务场景、功能点、优缺点、解决的问题以及底层原理,并详细介绍如何使用Jav...

文章 2024-11-04 来自:开发者社区

AnalyticDB 实时数仓架构解析

数据模型AnalyticDB 采用标准的关系数据模型,支持标准的 SQL 访问(兼容 MySQL 协议)。为了实现系统扩展,AnalyticDB 支持量两级分区能力。如下图所示,数据根据 id 列分到50个 partition,称为 primary partition;在 primary parti...

AnalyticDB 实时数仓架构解析
文章 2024-10-19 来自:开发者社区

湖仓一体架构深度解析:构建企业级数据管理与分析的新基石

在当今数据驱动的时代,企业对于数据的管理与分析需求日益复杂。传统的数据仓库与数据湖架构虽各有优势,但单独使用时往往难以满足企业的全面需求。湖仓一体(Lakehouse)架构的出现,为企业提供了一种全新的数据管理与分析解决方案,它巧妙地将数据仓库的高性能与管理能力与数据湖的灵活性相结合,为企业级数据应用带来了革命性的变化。 湖仓一体架构的关键特征及实现细节 支持多种数据...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云原生数据仓库AnalyticDB

定期发送云原生数据仓库AnalyticDB产品重大发布和技术干货

+关注