问答 2024-07-10 来自:开发者社区

云数据仓库ADB Spark SQL访问OSS外表-(可选)步骤五:删除外表

云数据仓库ADB Spark SQL访问OSS外表-(可选)步骤五:删除外表

阿里云文档 2024-07-02

Spark读写OSS-HDFS数据源

AnalyticDB for MySQL湖仓版(3.0)Spark支持访问OSS-HDFS数据源,本文介绍如何使用Spark来操作OSS-HDFS数据。

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
384 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
276 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
120 人已学 |
免费
开发者课程背景图
文章 2024-06-23 来自:开发者社区

MaxCompute操作报错合集之在Spark访问OSS时出现证书错误的问题,该如何解决?

问题一:大数据计算MaxCompute 这个正常吗? 大数据计算MaxCompute 这个正常吗? https://dataworks.data.aliyun.com/ap-southeast-1/workbench?defa...

MaxCompute操作报错合集之在Spark访问OSS时出现证书错误的问题,该如何解决?
问答 2024-06-15 来自:开发者社区

Maxcompute spark访问oss对象存储是否可以走ENI方式

Maxcompute spark访问oss对象存储是否可以走ENI方式

问答 2024-06-10 来自:开发者社区

DMS任务编排跨库Spark SQL节点是否支持将数据导出到OSS单个文件

DMS任务编排跨库Spark SQL节点是否支持将数据导出到OSS单个文件

问答 2024-05-29 来自:开发者社区

MaxComopute如何处理spark读ossWARN oss: [Client]Unabl...

MaxComopute如何处理spark读ossWARN oss: [Client]Unable to execute HTTP request: ConnectionTimeout报错

问答 2024-05-29 来自:开发者社区

MaxCompute spark访问oss外部表报错Odps external table i...

MaxCompute spark访问oss外部表报错Odps external table is not enable”,Table or view not found

文章 2024-05-28 来自:开发者社区

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

背景 随着互联网服务的广泛普及与技术应用的深入发展,日志数据作为记录系统活动、用户行为和业务操作的宝贵资源,其价值愈发凸显。然而,当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力,这不仅要求我们具备高效的数据收集和存储机制,更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下,Apache Spark,这一专为大规模数据处理而设计的计算引擎,成为了构建高性能日志分...

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
问答 2024-03-04 来自:开发者社区

大数据计算MaxCompute文档中有 spark 访问 OSS 部分。这个您知道是什么问题吗?

大数据计算MaxCompute文档中有 spark 访问 OSS 部分。我想实现的是 通过 spark 写入 hudi 文件到 oss ,再用 maxcomputer 进行读取外部表。但是我 spark 访问 oss 一直说我证书错误。这个您知道是什么问题吗?Exception in thread "main" com.aliyun.oss.ClientException: java.secur....

问答 2024-02-25 来自:开发者社区

ADB MySQL湖仓版数据都在oss,如果想跑spark作业,这个数据库合适吗?

ADB MySQL湖仓版数据都在oss,如果想跑spark作业,这个数据库合适吗?我看maxcompute,EMR等好几个服务都支持spark,不知道哪个合适,主要场景是oss做离线计算后,再放入oss

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注