最强指南！数据湖Apache Hudi、Iceberg、Delta环境搭建
1. 引入 作为依赖Spark的三个数据湖开源框架Delta，Hudi和Iceberg，本篇文章为这三个框架准备环境，并从Apache Spark、Hive和Presto的查询角度进行比较。主要分为三部分 准备单节点集群，包括：Hadoop，Spark，Hive，Presto和所有依赖项。 测试Delta，Hudi，Iceberg在更新，删除，时间旅行，Sc...
SmartNews 基于 Flink 的 Iceberg 实时数据湖实践
摘要：本文整理自 SmartNews 数据平台架构师 Apache Iceberg Contributor 戢清雨，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为五个部分： SmartNews 数据湖介绍 基于 Icebergv1 格式的数据湖实践 基于 Flink 实时更新的数据湖（Iceberg v2）解决方案 实时更新小文件问...
Iceberg+Amoro+CloudEon体验云原生数据湖
组件版本 Kubernetes 1.21.5 CloudEon 1.2.0 Iceberg 1.2.1 Amoro 0.5.0 Spark 3.2.3 Flink 1.15.4 Hadoop 3.3.4 在Kubernetes上搭建大数据基础环境 之前的文章有介绍过怎么在Kubernetes上快速搭建大数据基础环境，这里就不重复介绍了。安装完后，可以看到如下图各个基础服务...
数据湖的选型(delta iceberg hudi)以及比对
数据湖的选型此文章只是作为文稿记录，且截止到2022年11月份Hudi（0.12.0）支持spark 3.3.x 3.1.x是 Hadoop Upserts Deletes and Incrementals 的简写Hudi在华为的实践1。clustering支持常见的order以及z-order(里面以后优化https://github.com/delta-io/delta/pull/1149)....
数据湖选型指南｜Hudi vs Iceberg 数据更新能力深度对比
数据湖作为新一代大数据基础设施，近年来持续火热，许多前线的同学都在讨论数据湖应该怎么建，许多企业也都在构建或者计划构建自己的数据湖。基于此，自然引发了许多关于数据湖选型的讨论和探究。但是经过搜索之后我们发现，网上现存的很多内容都是基于较早之前的开源信息做出的结论，在企业调研初期容易造成不准确的印象和理解。因此带着这样的问题，我们计划推出数据湖选型系列文章，基于最新的开源信息，从升级数据湖架构的几....
5分钟入门数据湖IceBerg
一、Iceberg产生背景随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要方向。Netflix 发起的 Apache Iceberg 项目具备 ACID 能力的表格式成为了大数据、数据湖领域炙手可热的方向。Apache Iceberg 是由 Netflix 开发开源，并于 2018年11月16日进入 Apache 孵化....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
