oss apache spark 的相关内容

阿里云文档 2026-06-07

阿里云EMR Serverless Spark Notebook集成DuckDB，支持免密访问OSS/OSS-HDFS并高效操作多种数据格式。

阿里云EMR Serverless Spark Notebook集成了DuckDB，并增强了其与云上数据源的集成能力。用户除了可以免密访问OSS/OSS-HDFS并高效操作多种格式的数据文件外，还可以直接通过SQL查询DLF（数据湖构建）中定义的元数据表，实现对数据湖的一站式、轻量化探索与分析。

阿里云文档 2026-06-02

使用Hadoop命令操作OSS/OSS-HDFS

在使用阿里云EMR Serverless Spark的Notebook时，您可以通过Hadoop命令直接访问OSS或OSS-HDFS数据源。本文将详细介绍如何通过Hadoop命令操作OSS/OSS-HDFS。

阿里云文档 2026-05-09

Spark读写OSS-HDFS数据源

云原生数据仓库 AnalyticDB MySQL 版Spark支持访问OSS-HDFS数据源，本文介绍如何使用Spark来操作OSS-HDFS数据。

阿里云文档 2026-02-02

Serverless Spark支持通过自动或手动解冻OSS归档文件，确保SQL作业连续执行，需版本esr-4.4.0及以上。

当Spark作业需读取OSS归档存储中的数据时，因文件处于冻结状态无法直接访问，导致任务失败。本功能支持自动或手动触发解冻流程，确保作业正常执行，提升冷数据处理效率。

阿里云文档 2025-04-07

Spark作业读写OSS数据

本文以Spark自带的PageRank作业为例，介绍如何在ACK集群中运行Spark作业，并配置读写位于阿里云OSS（对象存储服务）中的数据。

问答 2024-02-25 来自：开发者社区

ADB MySQL湖仓版数据都在oss，如果想跑spark作业，这个数据库合适吗？

ADB MySQL湖仓版数据都在oss，如果想跑spark作业，这个数据库合适吗？我看maxcompute，EMR等好几个服务都支持spark，不知道哪个合适，主要场景是oss做离线计算后，再放入oss

问答 2022-05-07 来自：开发者社区

Tablestore利用 OSS 系统对接 Spark ，可以完成什么工作？

文章 2021-05-26 来自：开发者社区

数据湖实操讲解【OSS 访问加速】第六讲：Hadoop/Spark 访问 OSS 加速

本期导读：【OSS 访问加速】第六讲主题：Hadoop/Spark 访问 OSS 加速讲师：流影，阿里巴巴计算平台事业部 EMR 技术专家内容框架：JindoFS SDK 介绍Hadoop 使用 JindoFS SDKSpark 使用 JindoFS SDK演示直播回放链接：（5/6讲）https://developer.aliyun.com/live/246811一、JindoFS SDK ....

文章 2020-05-26 来自：开发者社区

OSS数据湖实践——EMR + Spark + OSS案例

本文介绍大数据分析引擎spark 基于EMR集群，利用OSS云存储数据，实现一个简单的分析案例。前提条件 • 已注册阿里云账号，详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权，详情请参见角色授权。• 已创建Haoop集群，且带有spark组件，配置好相关的OSS数据源。步骤一：数据上传至oss hadoop fs -put course2.c....

问答 2016-10-13 来自：开发者社区