Apache Paimon 流式数据湖 V 0.4 与后续展望

Apache Paimon 流式数据湖 V 0.4 与后续展望

今年 6 月份 Paimon 0.4 刚刚发布,它是一个非常具有竞争力的版本,也是进入 Apache 孵化器之后的第一个版本。01湖存储上的难点数据湖的新场景主要有以下三个:第一个场景,实时数据入湖。数据可以实时更新来自数据库的 CDC 数据,实时入湖到数据湖中,让数据能被多种引擎尽快分析。第二个场...

Apache Paimon 流式数据湖 V 0.4 与后续展望

Apache Paimon 流式数据湖 V 0.4 与后续展望

摘要:本文整理自阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家,Apache Flink PMC,Paimon PPMC 李劲松(之信)在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分: 湖存储上的难点 深入 Apache Paimon 0.4 社会应用实践 后...

大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析

4 课时 |
110 人已学 |
免费
开发者课程背景图
Paimon 专题上线|从 0 到 1 入门新一代流式数据湖存储

Paimon 专题上线|从 0 到 1 入门新一代流式数据湖存储

Flink-learning 学训平台第2期课程——Paimon 专题上线啦!Apache Paimon 是一项流式数据湖存储技术,可以提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念,可以与 Apache Flink / Spark / Trino...

基于数据湖格式构建流式增量数仓—CDC

基于数据湖格式构建流式增量数仓—CDC

摘要:本文整理自阿里云开源大数据平台技术专家毕岩(寻径)在 Apache Con ASIA 的分享。本篇内容主要分为四个部分:湖格式& Hudi & CDC湖格式设计实现 CDC 的思考Hudi CDC 实现湖格式 Streaming 的优化2021年中 Databricks 发布了...

Apache Hudi 0.9.0版本重磅发布!更强大的流式数据湖平台

1. 重点特性1.1 Spark SQL支持0.9.0 添加了对使用 Spark SQL 的 DDL/DML 的支持,朝着使所有角色(非工程师、分析师等)更容易访问和操作 Hudi 迈出了一大步。 用户现在可以使用 CREATE TABLE....USING HUDI 和 CREATE TABLE ...

使用 Flink Hudi 构建流式数据湖平台

使用 Flink Hudi 构建流式数据湖平台

摘要:本文整理自阿里巴巴技术专家陈玉兆 (玉兆)、阿里巴巴开发工程师刘大龙 (风离) 在 Flink Forward Asia 2021 的分享。主要内容包括:Apache Hudi 101Flink Hudi IntegrationFlink Hudi Use CaseApache Hudi Ro...

使用 Flink Hudi 构建流式数据湖

使用 Flink Hudi 构建流式数据湖

本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储,且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为:背景增量 ETL演示GitHub ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
数据湖技术解析
数据湖统一元数据与权限
中国云原生数据湖应用洞察 白皮书
立即下载 立即下载 立即下载