Apache构建lakehouse 的相关内容

文章 2024-11-04 来自：开发者社区

巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践

随着数据湖技术的不断发展，越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架，它支持流式处理和批处理，能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...

文章 2024-03-12 来自：开发者社区

使用Apache Hudi构建下一代Lakehouse

1. 概括本文介绍了一种称为Data Lakehouse的现代数据架构范例。Data Lakehouse相比于传统的数据湖具有很多优势，本文说明了如何通过现代化数据平台并使用Lakehouse架构来应对客户端所面临的可扩展性、数据质量和延迟方面的挑战。本文介绍了使用Apache Hudi实现Data Lakehouse的基本知识和步骤。 2. 前言过去十年随着物联网、...

文章 2024-03-12 来自：开发者社区

使用Apache Pulsar + Hudi 构建Lakehouse方案了解下？

由StreamNative Founder & CEO 郭斯杰执笔的Apache Pulsar作为Lakehouse的提案，阐述如何利用Apache Hudi解决Pulsar作为Lakehouse的痛点问题，强烈推荐！ 1. 动机 Lakehouse最早由Databricks公司提出，其可作为低成本、直接访问云存储并提供传统DBMS管系统性能和ACID事务、版...

文章 2024-03-07 来自：开发者社区

Halodoc使用Apache Hudi构建Lakehouse的关键经验

Halodoc 数据工程已经从传统的数据平台 1.0 发展到使用 LakeHouse 架构的现代数据平台 2.0 的改造。在我们之前的博客中，我们提到了我们如何在 Halodoc 实施 Lakehouse 架构来服务于大规模的分析工作负载。我们提到了平台 2.0 构建过程中的设计注意事项、最佳实践和学习。本博客中我们将详细介绍 Apache Hudi 以及它如何帮助我们构建事务数据湖。我们还将重....

文章 2024-03-07 来自：开发者社区

基于 Apache Hudi + dbt 构建开放的Lakehouse

本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。我们很高兴地宣布，用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。在深入了解细节之前，让我们先澄...

文章 2024-03-07 来自：开发者社区

基于Apache Hudi 和 Microsoft Azure构建Lakehouse指南

Apache Hudi 是一种流行的开源 Lakehouse 技术，在大数据社区中迅速发展。如果您在 AWS 上构建了数据湖和数据工程平台，您可能已经听说过或使用过 Apache Hudi，因为 AWS 在其众多数据服务（包括 EMR、Redshift、Athena、Glue 等）中原生集成并支持了 Apache Hudi ...

文章 2024-03-07 来自：开发者社区

基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse

认识Lakehouse 数据仓库被认为是对结构化数据执行分析的标准，但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。此外机器学习和人工智能在业务的各个方面变得越来越普遍，它们需要访问数据仓库之外的大量信息。 ...

文章 2024-03-07 来自：开发者社区

降本百万！Notion 基于Apache Hudi构建LakeHouse

这篇博文是由 Notion 数据平台团队的软件工程师 Thomas Chow 和 Nathan Louie 于 2023 年 12 月 13 日发表的题为 Notion's Journey Through Different Stages of Data Scale 的 Hudi 现场活动的简短摘要。下面的视频剪辑给出了Notion 演讲的简短摘要，还可以查看演讲幻灯片[1]或查看完整演讲[2]....

文章 2023-09-06 来自：开发者社区

AnalyticDB基于Apache Hudi构建低成本Lakehouse实践

1. AnalyticDB MySQL产品架构首先介绍下 AnalyticDB MySQL(下简称ADB)产品架构， ADB湖仓版产品架构包含自研和开源两部分。ADB湖仓版在数据全链路的「采存算管用」5 大方面都进行了全面升级和建设。在「采集」方面，我们推出了数据管道 APS 功能，可以一键低成本接入数据库、日志、大数据中的数据，解决数据入湖仓的问题。在「存储」方面，我们除了内置Hudi /De....

文章 2023-03-01 来自：开发者社区

Apache RocketMQ + Hudi 快速构建 Lakehouse

本文目录背景知识大数据时代的构架演进RocketMQ Connector&StreamApache Hudi构建Lakehouse实操本文标题包含三个关键词：Lakehouse、RocketMQ、Hudi。我们先从整体Lakehouse架构入手，随后逐步分析架构产生的原因、架构组件特点以及构建Lakehouse架构的实操部分。背景知识1、Lakehouse架构Lakehouse最初由Da....