AI 助理
文档备案控制台
阿里云文档 2023-09-13

如何在EMR的Hadoop集群中运行Spark作业对接DataHub数据_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文介绍如何在E-MapReduce的Hadoop集群，运行Spark作业消费DataHub数据、统计数据个数并打印出来。

文章 2019-04-11 来自：开发者社区

Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s

Spark可以以分布式集群架构模式运行，如果我们不熟Spark Cluster，这个时候需要集群管理器帮助我们管理Spark 集群。 集群管理器根据需要为所有工作节点提供资源，操作所有节点。负责管理和协调集群节点的程序一般叫做：Cluster Manager，集群管理器。目前搭建Spark 集群，可以的选择包括Standalone，YARN，Mesos，K8s，这么多工具，在部署Spark集群时....

文章 2019-04-09 来自：开发者社区

Hadoop大数据平台实战(04)：Ubuntu 18.04实战安装Spark大数据引擎并统计字符

Spark是一个开源的高性能大数据分析引擎，在Hadoop生态系统中非常的重要组成部分，主要的作用就是分析处理大数据，Spark在大数据生态中的作用是替代之前的mapreduce引擎。Spark的性能测试表名将大数据分析处理的性能提高了100倍。Apache Spark使用最先进的DAG调度程序，查询优化器和物理执行引擎，实现批处理和流数据的高性能分析处理。Spark可以使用Java，Scala....

文章 2019-04-01 来自：开发者社区

常见的七种Hadoop和Spark项目案例

大数据中比较火爆的Hadoop、Spark和Storm，最常见的七种项目你们是否已经了解到位了呢，下面一起了解一下吧 一、数据整合 称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们存储在hadoop中。 “企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成 二、专业分析 许多....

问答 2019-01-02 来自：开发者社区

在初始化spark上下文后，在运行时更改pyspark的hadoop配置中的aws凭据

我已经在Stack Overflow上查看了相关问题的解决方案，但似乎这个问题相当独特。对于上下文，由于公司程序的原因，我需要每小时刷新一次AWS安全凭证，而我正在努力将新刷新的安全凭证添加到spark中。在第一个小时内一切正常（我可以从s3访问和读取表等），但是在第一个小时结束后刷新凭据后，我无法成功更改我的凭据凭据。 一旦我刷新我的aws凭据，这里是我用来更新spark的代码，以使他们使用新....

问答 2018-12-19 来自：开发者社区

对spark2.4来说Hadoop的最佳版本

我已经安装了spark2.4，我想知道应该选择哪个最佳版本

问答 2018-12-12 来自：开发者社区

Hadoop Spark docker swarm其中pyspark给出BlockMissingException但文件很好

基于https://github.com/gotthardsen/docker-hadoop-spark-workbench/tree/master/swarm我有一个带有hadoop，spark，hue和jupyter笔记本设置的docker swarm设置。使用Hue我将文件上传到hdfs，我没有问题从hue或在namenode上的hdfs中下载或查看文件。没有丢失的块和文件检查说一切都很好....

文章 2018-11-30 来自：开发者社区

hadoop和spark的区别

学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看（发行版DKhadoop，去大快的网站上应该可以下载到的。）   在学习hadoop的时候查询一些资料的时候经常会看到有比较hadoop和spark的，对于初学者来说难免会有点搞不清楚这二者...

文章 2018-10-16 来自：开发者社区

hadoop，spark，Zookeeper，，， 这些名字都是怎么来的呢？

Apache 首先我们要明白，Apache 是一个 http 服务器，而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"Apache"是 Apache 软件基金会中的一个项目。 关于其名字，流传最广的解释是（也是最显而易见的）：这个名字来自于一个事实：当Apache在1995年初开发的时候，它是由当时最流行的HTTP服务器NCSA HT....

hadoop，spark，Zookeeper，，， 这些名字都是怎么来的呢？
文章 2018-09-15 来自：开发者社区

Hadoop和Spark集群搭建的大致流程

【Hadoop】 1.首先，准备好Hadoop安装包和JDK的安装与配置2.建立各个机器之间的ssh信任关系，即互信3.修改hadoop配置文件【core、hdfs、yarn、mapred】默认配置文件：core-default.xml、hdfs-default.xml、mapred-default.xml、yarn-default.xml特定配置文件：core-site.xml、hdfs-si....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多hadoop相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注