文章 2024-08-02 来自:开发者社区

Apache Paimon:重塑阿里智能引擎数据处理新纪元,解锁高效存储与实时分析潜能!

随着大数据技术的飞速发展,企业对于数据处理的实时性、灵活性和成本效益提出了更高的要求。Apache Paimon,作为一项流式数据湖存储技术,凭借其高吞吐、低延迟及与主流计算引擎的无缝集成能力,逐渐在大数据领域崭露头角。本文将以阿里智能引擎为例,探讨Apache Paimon在其应用场景中的具体应用,解答为何Pa...

文章 2024-07-25 来自:开发者社区

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。 为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,包括 Hudi、.....

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)
文章 2024-07-16 来自:开发者社区

Apache Paimon 在蚂蚁的应用

摘要 :本文整理自 Apache Paimon Committer 闵文俊老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享。内容主要分为以下四个部分: 什么是 Paimon 蚂蚁 Paimon 应用场景蚂蚁 Paimon 功能改进 未来规划 一、什么是 Paimon 1. 实时更新 Paimon 是一种面向流而设计...

Apache Paimon 在蚂蚁的应用
文章 2024-07-02 来自:开发者社区

探索 Apache Paimon 在阿里智能引擎的应用场景

摘要:本文整理自Apache Yarn && Flink Contributor,阿里巴巴智能引擎事业部技术专家王伟骏(鸿历)老师在 5月16日 Streaming Lakehouse Meetup · Online 上的分享。内容主要分为以下三个部分: 一、 阿里智能引擎 AI 业务背景介绍 二、 引入 Pa...

探索 Apache Paimon 在阿里智能引擎的应用场景
文章 2024-06-28 来自:开发者社区

DataFunCon 2024·北京站|Apache Paimon 实时湖仓存储底座

随着2023年“百模大战”的逐渐退烧,我们迎来了 2024 年大模型应用落地的关键突破阶段。在这个被大模型与大数据双核驱动的新时代,企业的各项运营从产品研发到营销再到用户服务等环节正在经历前所未有的深刻变革。为了更好地探讨和展望大数据与大模型的融合发展,我们诚邀您参加 7 月 5 至 7 月 6 日在北京丽亭华苑酒店举办的 DataFunCon 2024·北京站大会,深度了解“大数据·大模型 双....

DataFunCon 2024·北京站|Apache Paimon 实时湖仓存储底座
文章 2024-06-18 来自:开发者社区

Apache Paimon统一大数据湖存储底座

摘要:本文整理自 Apache Paimon PMC Chair 李劲松(之信)老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享,主要分享 Apache Paimon 相关的演进、目标及应用。内容主要分为以下四个部分: 从孵化到毕业,Paimon 的发展与场景统一...

Apache Paimon统一大数据湖存储底座
文章 2024-04-17 来自:开发者社区

官宣|Apache Paimon 毕业成为顶级项目,数据湖步入实时新篇章!

北京时间 2024 年 4 月 16日,开源软件基金会 Apache Software Foundation(以下简称 ASF)正式宣布 Apache Paimon 毕业成为 Apache 顶级项目(TLP, Top Level Project)。经过社区的共同努力和持续创新,Apache Paimon 在构建实时数据湖与流批处理技术领域取...

官宣|Apache Paimon 毕业成为顶级项目,数据湖步入实时新篇章!
文章 2024-01-22 来自:开发者社区

Apache Paimon 表模式最佳实践

01前言Apache Paimon 作为数据湖对各种场景有着完整的功能支持,看完这篇文章,你可以了解到 Paimon 有哪几种表模式。对应哪些场景。此文部分内容来自 Paimon 官网:https://paimon.apache.org/docs/master/02概览上图描述了大致所有表模式的配置及能力,在下文中,会逐个简单介绍下。以上的所有表模式在最新版本中已得到生产验证。03主键表主键表是....

Apache Paimon 表模式最佳实践
文章 2024-01-22 来自:开发者社区

Apache Paimon:Streaming Lakehouse is Coming

01数据分析架构从 Hive 到 Lakehouse旧的数据分析架构如 Hive、Hadoop、HDFS、MapReduce、HiveSQL、Hive 存储等,如今国内外的各大企业都在逐步转向 Lakehouse 架构,即 Spark、Flink、Presto,底层的湖存储格式:Iceberg、Delta、Hudi,以及下面数据存储在 HDFS、对象存储 OSS 或 S3。1.1 Lakehou....

Apache Paimon:Streaming Lakehouse is Coming
文章 2024-01-22 来自:开发者社区

官宣|Apache Paimon 0.6.0 发布公告

Apache Paimon PPMC 正式发布 Apache Paimon 0.6.0 孵化版本。共有 58 人参与了该版本的开发,并完成了 400 多条提交。感谢所有贡献者的支持!一些突出的进展如下:Flink Paimon CDC 支持目前大部分的主流数据源。Flink 1.18 和 Paimon 支持 CALL 过程,这将使表管理变得更容易。跨分区更新可用于生产!引入了读优化表 (T$ro....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像