阿里云文档 2024-07-02

通过AnalyticDB MySQL Spark访问OSS中的数据

AnalyticDB MySQL Spark支持访问同账号或其他阿里云账号(跨账号)下对象存储OSS中的数据,本文介绍同账号或跨账号访问对象存储OSS数据的具体方法。

阿里云文档 2024-07-02

Spark读写OSS-HDFS数据源

AnalyticDB for MySQL湖仓版(3.0)Spark支持访问OSS-HDFS数据源,本文介绍如何使用Spark来操作OSS-HDFS数据。

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
384 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
276 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
120 人已学 |
免费
开发者课程背景图
问答 2024-02-25 来自:开发者社区

ADB MySQL湖仓版数据都在oss,如果想跑spark作业,这个数据库合适吗?

ADB MySQL湖仓版数据都在oss,如果想跑spark作业,这个数据库合适吗?我看maxcompute,EMR等好几个服务都支持spark,不知道哪个合适,主要场景是oss做离线计算后,再放入oss

阿里云文档 2023-11-02

Spark SQL访问OSS外表

本文以OSS Parquet格式为例介绍如何通过Spark SQL读写OSS外表。

阿里云文档 2023-10-08

Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据_对象存储(OSS)

本文介绍Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据。

阿里云文档 2022-12-13

如何通过在CDP集群中部署JindoSDK4.5.0访问OSS-HDFS服务相关操作_Cloudera CDP 企业数据云平台(CDP)

本文介绍如何通过在CDP集群中部署JindoSDK(4.5.0),访问OSS-HDFS服务相关操作。

问答 2022-05-07 来自:开发者社区

Tablestore利用 OSS 系统对接 Spark ,可以完成什么工作?

Tablestore利用 OSS 系统对接 Spark ,可以完成什么工作?

文章 2021-05-26 来自:开发者社区

数据湖实操讲解【OSS 访问加速】第六讲:Hadoop/Spark 访问 OSS 加速

本期导读 :【OSS 访问加速】第六讲主题:Hadoop/Spark 访问 OSS 加速讲师:流影,阿里巴巴计算平台事业部 EMR 技术专家内容框架:JindoFS SDK 介绍Hadoop 使用 JindoFS SDKSpark 使用 JindoFS SDK演示直播回放链接:(5/6讲࿰...

数据湖实操讲解【OSS 访问加速】第六讲:Hadoop/Spark 访问 OSS 加速
文章 2020-05-26 来自:开发者社区

OSS数据湖实践——EMR + Spark + OSS案例

本文介绍大数据分析引擎spark 基于EMR集群,利用OSS云存储数据,实现一个简单的分析案例。 前提条件 • 已注册阿里云账号,详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权,详情请参见角色授权。• 已创建Haoop集群,且带有spark组件, 配置好相关的OSS数据源。 步骤一:数据上传至oss hadoop fs -put course2.c....

问答 2016-10-13 来自:开发者社区

oss spark-shell运行代码报错

如图所示,不知道在哪里设置,我命令使用的是spark-shell --jars xxxx 求指点

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注