Apache hudi lakehouse 的相关内容

文章 2024-07-11 来自：开发者社区

Apache Doris + Apache Hudi 快速搭建指南｜Lakehouse 使用手册（一）

作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储...

文章 2024-03-12 来自：开发者社区

使用Apache Hudi构建下一代Lakehouse

1. 概括本文介绍了一种称为Data Lakehouse的现代数据架构范例。Data Lakehouse相比于传统的数据湖具有很多优势，本文说明了如何通过现代化数据平台并使用Lakehouse架构来应对客户端所面临的可扩展性、数据质量和延迟方面的挑战。本文介绍了使用Apache Hudi实现Data Lakehouse的基本知识和步骤。 2. 前言过去十年随着物联网、...

文章 2024-03-12 来自：开发者社区

使用Apache Pulsar + Hudi 构建Lakehouse方案了解下？

由StreamNative Founder & CEO 郭斯杰执笔的Apache Pulsar作为Lakehouse的提案，阐述如何利用Apache Hudi解决Pulsar作为Lakehouse的痛点问题，强烈推荐！ 1. 动机 Lakehouse最早由Databricks公司提出，其可作为低成本、直接访问云存储并提供传统DBMS管系统性能和ACID事务、版...

文章 2024-03-07 来自：开发者社区

Halodoc使用Apache Hudi构建Lakehouse的关键经验

Halodoc 数据工程已经从传统的数据平台 1.0 发展到使用 LakeHouse 架构的现代数据平台 2.0 的改造。在我们之前的博客中，我们提到了我们如何在 Halodoc 实施 Lakehouse 架构来服务于大规模的分析工作负载。我们提到了平台 2.0 构建过程中的设计注意事项、最佳实践和学习。本博客中我们将详细介绍 Apache Hudi 以及它如何帮助我们构建事务数据湖。我们还将重....

文章 2024-03-07 来自：开发者社区

Apache Hudi vs Delta Lake：透明TPC-DS Lakehouse性能基准

1. 介绍最近几周，人们对比较 Hudi、Delta 和 Iceberg 的表现越来越感兴趣[1]。我们认为社区应该得到更透明和可重复的分析。我们想就如何执行和呈现这些基准、它们带来什么价值以及我们应该如何解释它们添加我们的观点。 2. 现有方法存在哪些问题？最近 Databeans 发布了一篇博客[2]，其中使用 TPC-DS 基准对 Hudi/Delta/Iceb...

文章 2024-03-07 来自：开发者社区

基于 Apache Hudi + dbt 构建开放的Lakehouse

本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。我们很高兴地宣布，用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。在深入了解细节之前，让我们先澄...

文章 2024-03-07 来自：开发者社区

基于Apache Hudi 和 Microsoft Azure构建Lakehouse指南

Apache Hudi 是一种流行的开源 Lakehouse 技术，在大数据社区中迅速发展。如果您在 AWS 上构建了数据湖和数据工程平台，您可能已经听说过或使用过 Apache Hudi，因为 AWS 在其众多数据服务（包括 EMR、Redshift、Athena、Glue 等）中原生集成并支持了 Apache Hudi ...

文章 2024-03-07 来自：开发者社区

基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse

认识Lakehouse 数据仓库被认为是对结构化数据执行分析的标准，但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。此外机器学习和人工智能在业务的各个方面变得越来越普遍，它们需要访问数据仓库之外的大量信息。 ...

文章 2024-03-07 来自：开发者社区

降本百万！Notion 基于Apache Hudi构建LakeHouse

这篇博文是由 Notion 数据平台团队的软件工程师 Thomas Chow 和 Nathan Louie 于 2023 年 12 月 13 日发表的题为 Notion's Journey Through Different Stages of Data Scale 的 Hudi 现场活动的简短摘要。下面的视频剪辑给出了Notion 演讲的简短摘要，还可以查看演讲幻灯片[1]或查看完整演讲[2]....

文章 2023-09-06 来自：开发者社区

AnalyticDB基于Apache Hudi构建低成本Lakehouse实践

1. AnalyticDB MySQL产品架构首先介绍下 AnalyticDB MySQL(下简称ADB)产品架构， ADB湖仓版产品架构包含自研和开源两部分。ADB湖仓版在数据全链路的「采存算管用」5 大方面都进行了全面升级和建设。在「采集」方面，我们推出了数据管道 APS 功能，可以一键低成本接入数据库、日志、大数据中的数据，解决数据入湖仓的问题。在「存储」方面，我们除了内置Hudi /De....