Paimon 与 Spark 的集成(二):查询优化

Paimon 与 Spark 的集成(二):查询优化

Paimon Apache Paimon (incubating) 是一项流式数据湖存储技术,可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念,可以与 Flink / Spark / Trino 等诸多业界主流计算引擎进行对接,共同推进 S...

Apache Flink 和 Paimon 在自如数据集成场景中的使用

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景自如目前线上有基于 Hive 的离线数仓和基于 Flink、Kafka 的实时数仓,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了 Iceberg、Hudi、Paimon 后,最终选择 Paimon 作为我们湖仓一体的存储引擎,本文分享下自如在引入 Paimon 做数...

事件总线EventBridge生态集成课程

3 课时 |
2200 人已学 |
免费

消息队列 RocketMQ 消息集成

8 课时 |
331 人已学 |
免费
开发者课程背景图
Apache Flink 和 Paimon 在自如数据集成场景中的使用

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景 自如目前线上有基于 Hive 的离线数仓和基于 Flink、Kafka 的实时数仓,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了 Iceberg、Hudi、Paimon 后,最终选择 Paimon 作为我们湖仓一体的存储引擎,本文分享下自如在引入 Paimon 做...

流数据湖平台Apache Paimon(六)集成Spark之DML插入数据

4.4. 插入数据INSERT 语句向表中插入新行。插入的行可以由值表达式或查询结果指定,跟标准的sql语法一致。INSERT INTO table_identifier [ part_spec ] [ column_list ] { value_expr | query }part_spec可选,...

流数据湖平台Apache Paimon(五)集成 Spark 引擎

第4章 集成 Spark 引擎4.1 环境准备Paimon 目前支持 Spark 3.4、3.3、3.2 和 3.1。课程使用的Spark版本是3.3.1。1)上传并解压Spark安装包tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/mv /...

流数据湖平台Apache Paimon(四)集成 Hive 引擎

第3章 集成 Hive 引擎前面与Flink集成时,通过使用 paimon Hive Catalog,可以从 Flink 创建、删除、查询和插入到 paimon 表中。这些操作直接影响相应的Hive元存储。以这种方式创建的表也可以直接从 Hive 访问。更进一步的与 Hive 集成,可以使用 Hiv...

流数据湖平台Apache Paimon(二)集成 Flink 引擎

流数据湖平台Apache Paimon(二)集成 Flink 引擎

第2章 集成 Flink 引擎Paimon目前支持Flink 1.17, 1.16, 1.15 和 1.14。本课程使用Flink 1.17.0。2.1 环境准备环境准备2.1.1 安装 Flink1)上传并解压Flink安装包tar -zxvf flink-1.17.0-bin-scala_2.1...

Paimon与Spark的集成(一)

Paimon与Spark的集成(一)

PaimonApache Paimon (incubating) 是一项流式数据湖存储技术,可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念,可以与 ApacheFlink / Spark / Trino 等诸多业界主流计算引擎进行对接,共...

[帮助文档] 如何在Trino中使用Paimon

E-MapReduce支持在Trino中查询Paimon数据。本文通过示例为您介绍如何在Trino中查询Paimon中的数据。

[帮助文档] 如何在Hive中使用Paimon

E-MapReduce支持在Hive中查询Paimon数据。本文通过示例为您介绍如何在Hive中查询Paimon中的数据。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
行业实践:RocketMQ 业务集成典型行业应用和实践
Cloud Foundry on Cloud-- 开源PaaS集成技术实现
新零售下的企业供应链集成
立即下载 立即下载 立即下载
相关实验场景
更多