Apache Paimon 是一款高性能的数据湖框架，支持流式和批处理，适用于实时数据分析
随着数据湖技术的不断发展，越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架，它支持流式处理和批处理，能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...
基于Apache Hudi + MinIO 构建流式数据湖
Apache Hudi 是一个流式数据湖平台，将核心仓库和数据库功能直接引入数据湖。Hudi 不满足于将自己称为 Delta 或 Apache Iceberg 之类的开放文件格式，它提供表、事务、更新/删除、高级索引、流式摄取服务、数据聚簇/压缩优化和并发性。Hudi 于 2016 年推出，牢牢扎根于 Hadoop 生态系统，解释了名称背后的含义：Hadoop Upserts Deletes a....
Apache Paimon 流式数据湖 V 0.4 与后续展望
今年 6 月份 Paimon 0.4 刚刚发布，它是一个非常具有竞争力的版本，也是进入 Apache 孵化器之后的第一个版本。01湖存储上的难点数据湖的新场景主要有以下三个：第一个场景，实时数据入湖。数据可以实时更新来自数据库的 CDC 数据，实时入湖到数据湖中，让数据能被多种引擎尽快分析。第二个场景，实时字段打宽。实时打宽维表的字段，提供给下游查询及流读。第三个场景，实时数据流读。提供消息队列....
Apache Paimon 流式数据湖 V 0.4 与后续展望
摘要：本文整理自阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家，Apache Flink PMC，Paimon PPMC 李劲松（之信）在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分： 湖存储上的难点 深入 Apache Paimon 0.4 社会应用实践 后续规划 点击查看原文视频 & 演讲PPT 今年 6 月份...
Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储
Flink-learning 学训平台第2期课程——Paimon 专题上线啦！Apache Paimon 是一项流式数据湖存储技术，可以提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎对接，共同推进 Streaming Lakehouse 架构的普及和发展。....
基于数据湖格式构建流式增量数仓—CDC
摘要：本文整理自阿里云开源大数据平台技术专家毕岩(寻径)在 Apache Con ASIA 的分享。本篇内容主要分为四个部分：湖格式& Hudi & CDC湖格式设计实现 CDC 的思考Hudi CDC 实现湖格式 Streaming 的优化2021年中 Databricks 发布了一篇基于 Delta Lake 实现 CDC 场景的介绍文档，2022年初我们在阿里云EMR 内部....
Apache Hudi 0.9.0版本重磅发布！更强大的流式数据湖平台
1. 重点特性1.1 Spark SQL支持0.9.0 添加了对使用 Spark SQL 的 DDL/DML 的支持，朝着使所有角色（非工程师、分析师等）更容易访问和操作 Hudi 迈出了一大步。 用户现在可以使用 CREATE TABLE....USING HUDI 和 CREATE TABLE .. AS SELECT 语句直接在 Hive 等目录中创建和管理表。 然后用户可以使用 INSE....
使用 Flink Hudi 构建流式数据湖平台
摘要：本文整理自阿里巴巴技术专家陈玉兆 (玉兆)、阿里巴巴开发工程师刘大龙 (风离) 在 Flink Forward Asia 2021 的分享。主要内容包括：Apache Hudi 101Flink Hudi IntegrationFlink Hudi Use CaseApache Hudi RoadmapFFA 2021 直播回放 & 演讲 PDF 下载一、Apache Hudi 1....
使用 Flink Hudi 构建流式数据湖
本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储，且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为：背景增量 ETL演示GitHub 地址 https://github.com/apache/flink欢迎大家给 Flink 点赞送....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
