阿里云文档 2026-01-22

EMR on ECS Spark对接DLF Paimon Catalog

如何在EMR on ECS Spark环境中通过Paimon REST访问DLF Catalog。

阿里云文档 2025-12-26

Serverless Spark对接DLF Catalog

如何在Serverless Spark通过Paimon REST访问DLF Catalog。

阿里云文档 2025-10-20

在EMR Serverless Spark中使用DLF Iceberg Catalog

本文为您介绍在EMR Serverless Spark集群中如何以Iceberg REST对接 DLF Catalog。

阿里云文档 2025-09-19

本文介绍了使用Flink、EMR Serverless Spark和Paimon构建流批一体数据湖分析的完整流程,包括数据写入、交互查询及Compact操作。

本文演示了使用实时计算Flink版和EMR Serverless Spark构建Paimon数据湖分析流程。该流程包括将数据写入OSS、进行交互式查询以及执行离线数据Compact操作。EMR Serverless Spark完全兼容Paimon,通过内置的DLF元数据与其他云产品(例如,实时计算Flink版)实现元数据互通,形成完整的流批一体化解决方案。它支持灵活的任务运行方式和参数配置,满足实...

文章 2024-11-06 来自:开发者社区

数据湖技术:Hadoop与Spark在大数据处理中的协同作用

数据湖技术:Hadoop与Spark在大数据处理中的协同作用 在大数据时代,数据湖技术以其灵活性和成本效益成为了企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术中的两个核心组件,它们在大数据处理中的协同作用至关重要。本文将探讨Hadoop与Spark的最佳实践,以及如何在实际应用中发挥它们的协同效应。 Hadoop...

文章 2024-11-05 来自:开发者社区

数据湖技术:Hadoop与Spark在大数据处理中的协同作用

随着大数据技术的不断发展,数据湖作为一种集中式存储和处理海量数据的架构,越来越受到企业的青睐。Hadoop和Spark作为数据湖技术的两大核心组件,在大数据处理中发挥着不可替代的作用。本文将通过最佳实践的形式,详细探讨Hadoop与Spark在大数据处理中的协同作用,并提供具体的示例代码。 Hadoop,作为一个...

文章 2023-12-26 来自:开发者社区

流数据湖平台Apache Paimon(六)集成Spark之DML插入数据

4.4. 插入数据INSERT 语句向表中插入新行。插入的行可以由值表达式或查询结果指定,跟标准的sql语法一致。INSERT INTO table_identifier [ part_spec ] [ column_list ] { value_expr | query }part_spec可选,指定分区的键值对列表,多个用逗号分隔。可以使用类型文字(例如,date’2019-01-02’)。....

文章 2023-12-26 来自:开发者社区

流数据湖平台Apache Paimon(五)集成 Spark 引擎

第4章 集成 Spark 引擎4.1 环境准备Paimon 目前支持 Spark 3.4、3.3、3.2 和 3.1。课程使用的Spark版本是3.3.1。1)上传并解压Spark安装包tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/mv /opt/module/spark-3.3.1-bin-hadoop3 /opt/module/sp....

文章 2023-12-26 来自:开发者社区

Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突

解决spark模块依赖冲突修改了Hive版本为3.1.2,其携带的jetty是0.9.3,hudi本身用的0.9.4,存在依赖冲突。1)修改hudi-spark-bundle的pom文件,排除低版本jetty,添加hudi指定版本的jetty:vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml在382行的位置,修改如....

Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突
文章 2023-09-13 来自:开发者社区

AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖

【先打一波小广告】阿里云AnalyticDB MySQL升级为湖仓一体架构,支持高吞吐离线处理和高性能在线分析,可无缝替换CDH/TDH/Databricks/Presto/Spark/Hive等。1.目前湖仓版开放了线上训练营,参加实验免费赢耳机/充电宝/卫衣等好礼,报名链接:https://developer.aliyun.com/trainingcamp/e30b5d96a3e740f5a....

AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCardInfo":{"productTitle":"OpenLake 数据湖","productDescription":"基于开放可控的数据目录服务 Data Lake Formation(DLF)构建的大数据、搜索与 AI 一体化的多模态智能体数据解决方案。通过 Omini Catalog(5类数据目录)支持全模态数据,实现多引擎对同一份数据的平权协同计算,并通过 DataWorks 的 OpenLake Studio 提供 IDE 或 Notebook 方式的 Data+AI 集成开发。","productContentLink":"https://www.aliyun.com/product/openlake","isDisplayProductIcon":true,"productButton1":{"productButtonText":"产品详情","productButtonLink":"https://www.aliyun.com/product/openlake"},"productButton2":{"productButtonText":"文档","productButtonLink":"https://help.aliyun.com/document_detail/3011133.html"},"productButton3":{"productButtonText":"控制台","productButtonLink":"https://dataworks.console.aliyun.com/openlake"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"深度解读","productPromotionInfoFirstText":"阿里云OpenLake:AI 时代的全模态、多引擎、一体化解决方案","productPromotionInfoFirstLink":"https://developer.aliyun.com/article/1707898","productPromotionInfoSecondText":"【云栖发布】阿里云OpenLake及行业解决方案","productPromotionInfoSecondLink":"https://mp.weixin.qq.com/s/Ds4qSW4GwrUxRMINv9R0lQ"},{"$id":"1","productPromotionGroupingTitle":"核心功能","productPromotionInfoFirstText":"统一元数据与表管理","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/dlf/dlf-2-0/product-overview/what-is-data-lake-formation","productPromotionInfoSecondText":"存储成本优化","productPromotionInfoSecondLink":"https://help.aliyun.com/zh/dlf/dlf-2-0/user-guide/storage-optimization-usage-guide"},{"$id":"2","productPromotionGroupingTitle":"核心功能","productPromotionInfoFirstText":"实时湖流一体","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/flink/realtime-fluss/product-overview/what-is-alibaba-cloud-fluss","productPromotionInfoSecondText":"企业级高性能引擎","productPromotionInfoSecondLink":"https://mp.weixin.qq.com/s/3xeCurNSh_ccWe469mgK3A"},{"$id":"3","productPromotionGroupingTitle":"核心功能","productPromotionInfoFirstText":"大数据&AI 协同开发","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/dataworks/user-guide/basic-notebook-development","productPromotionInfoSecondText":"Agent&Copilot 集成","productPromotionInfoSecondLink":"https://help.aliyun.com/zh/dataworks/user-guide/dataworks-agent"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityPromotionInfoBlock":[]}}