hadoop apache spark 的相关内容

阿里云文档 2025-04-03

如何通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据

Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现Hadoop的Spark服务读写阿里云Elasticsearch数据。

阿里云文档 2023-09-13

如何在EMR的Hadoop集群中运行Spark作业对接DataHub数据_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文介绍如何在E-MapReduce的Hadoop集群，运行Spark作业消费DataHub数据、统计数据个数并打印出来。

文章 2023-07-17 来自：开发者社区

Hadoop生态系统中的流式数据处理技术：Apache Flink和Apache Spark的比较

Hadoop生态系统中的流式数据处理技术：Apache Flink和Apache Spark的比较引言：在大数据时代，处理海量的实时数据变得愈发重要。Hadoop生态系统中的两个主要的流式数据处理框架，Apache Flink和Apache Spark，都提供了强大的功能来应对这一挑战。本文将对这两个框架进行比较࿰...

文章 2023-05-01 来自：开发者社区

Hadoop/Spark 太重

随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的 PC 服务器组成集群来完成大数据计算任务。Hadoop/Spark 就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop 已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如 Hive、Impala ....

文章 2023-04-27 来自：开发者社区

Hadoop和Spark的异同

解决问题的层面不一样Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题，是一个分布式数据基础设施。HDFS，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，通过将块保存到多个副本上，提供高可靠的文件存储。MapReduce，通过简单的Mapper和Reducer的抽象提供一个编程模型，可以在一个由几十台上百台的机器上并发地分布式处....

问答 2023-04-23 来自：开发者社区

你觉得Hadoop和Spark的技术优缺点以及适用场景都有哪些？

如上

文章 2023-03-24 来自：开发者社区

【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装

一、安装spark依赖的Scala1.1 下载和解压缩Scala下载地址：点此下载或则直接去官网挑选下载：官网连接在Linux服务器的opt目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去：[root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [root@had....

文章 2023-03-24 来自：开发者社区

【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装注意1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi的安装部署文档，基础环境部署文档2、整篇文章配置相对简单，走了一些坑，没有写在文档里，为了像我一样的小白看我的文档，按着错误的路径走了，文章整体写的较为详细，按照文章整体过程来做应该不会出错，如....

文章 2022-12-30 来自：开发者社区

HADOOP MapReduce 处理 Spark 抽取的 Hive 数据【解决方案一】

开端：今天咱先说问题，经过几天测试题的练习，我们有从某题库中找到了新题型，并且成功把我们干趴下，昨天今天就干了一件事，站起来。沙问题？java mapeduce 清洗 hive 中的数据，清晰之后将driver代码进行截图提交。坑号1: spark之前抽取的数据是.parquet格式的，对 mapreduce 不太友好，我决定从新抽取，还是用spark技术，换一种文件格式坑号2....