Apache paimon 的相关内容

文章 2023-12-26 来自：开发者社区

流数据湖平台Apache Paimon（二）集成 Flink 引擎

第2章集成 Flink 引擎Paimon目前支持Flink 1.17, 1.16, 1.15 和 1.14。本课程使用Flink 1.17.0。2.1 环境准备环境准备2.1.1 安装 Flink1）上传并解压Flink安装包tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/2）配置环境变量sudo vim /etc/profil....

文章 2023-12-26 来自：开发者社区

流数据湖平台Apache Paimon（一）概述

第1章概述1.1 简介Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streami....

文章 2023-11-03 来自：开发者社区

Apache Paimon 流式数据湖 V 0.4 与后续展望

今年 6 月份 Paimon 0.4 刚刚发布，它是一个非常具有竞争力的版本，也是进入 Apache 孵化器之后的第一个版本。01湖存储上的难点数据湖的新场景主要有以下三个：第一个场景，实时数据入湖。数据可以实时更新来自数据库的 CDC 数据，实时入湖到数据湖中，让数据能被多种引擎尽快分析。第二个场景，实时字段打宽。实时打宽维表的字段，提供给下游查询及流读。第三个场景，实时数据流读。提供消息队列....

文章 2023-11-03 来自：开发者社区

海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用（下）

-- 在paimon-dwd层创建宽表 CREATE TABLE IF NOT EXISTS dwd.`dwd_business_order` ( `reference_no` varchar(50) NOT NULL COMMENT '委托单号主键', `bondex_shy_flag` varchar(8) NOT NULL COMMENT '区分', `is_server_item` in....

文章 2023-11-03 来自：开发者社区

海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用（中）

在streampark添加flink conf构建 flink1.16.0 基础镜像从 dockerhub拉取对应版本的镜像#拉取镜像 docker pull flink:1.16.0-scala_2.12-java8 #打上 tag docker tagflink:1.16.0-scala_2.12-java8 registry-vpc.cn-zhangjiakou.aliyuncs.com.....

文章 2023-11-03 来自：开发者社区

海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用（上）

摘要本文主要介绍作为供应链物流服务商海程邦达在数字化转型过程中采用 Paimon 实现流式数仓的落地方案。我们提供一个适用于 k8s 环境并且易于上手的生产操作手册，旨在帮助读者快速掌握 Paimon 的使用方法。公司业务情况介绍大数据技术痛点以及选型生产实践问题排查分析未来规划01公司业务情况介绍海程邦达集团一直专注于供应链物流领域，通过打造优秀的国际化物流平台，为客户提供端到端一站式智慧型供....

文章 2023-08-21 来自：开发者社区

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

摘要：本文整理自阿里云开源大数据表存储团队负责人，阿里巴巴高级技术专家李劲松（之信），在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分：流计算邂逅数据湖 Paimon CDC 实时入湖 Paimon 不止 CDC 入湖总结与生态点击查看原文视频 & 演讲PPT 一、流计算邂逅数据湖流计算 1.0 实...

文章 2023-08-11 来自：开发者社区

Apache Paimon 在同程旅行的实践进展

摘要：本文整理自同程旅行大数据计算组负责人吴祥平，在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分： Apache Paimon 引入 Apache Paimon 应用建设 Apache Paimon 优化实践未来规划和期待点击查看原文视频 & 演讲PPT 3 月底，在 Paimon 的公众号上发表了一篇文章，展...

文章 2023-08-10 来自：开发者社区

Apache Paimon 流式数据湖 V 0.4 与后续展望

摘要：本文整理自阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家，Apache Flink PMC，Paimon PPMC 李劲松（之信）在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分：湖存储上的难点深入 Apache Paimon 0.4 社会应用实践后续规划点击查看原文视频 & 演讲PPT 今年 6 月份...