AI 助理
文档备案控制台
文章 2018-09-14 来自：开发者社区

Hadoop hdfs+Spark配置

Hadoop hdfs配置(版本2.7) hadoop-env.sh export JAVA_HOME=/home/java/jdk1.8.0_45 hdfs-site.xml <name>dfs.nameservices</name> <value>guanjian</value> <name>dfs.ha.namenodes.g...

文章 2018-06-27 来自：开发者社区

常见的七种Hadoop和Spark项目案例

如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。 有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是....

问答 2018-05-27 来自：开发者社区

Dr.Elephant for Monitoring and Tuning Apache Spark Jobs on Hadoop

Carl Steinbach and Simon King在Spark Summit 2017上做了主题为《Dr.Elephant for Monitoring and Tuning Apache Spark Jobs on Hadoop》的演讲，就Apache spark的调整工作和监督等进行了深入的分享。 https://yq.aliyun.com/download/449?spm=a2...

文章 2018-03-16 来自：开发者社区

spark整合hadoop安装

点此去

文章 2018-03-06 来自：开发者社区

hadoop/spark节点动态调整

转自：hadoop2.7 动态新增节点和删除节点 转自：spark集群动态增加worker节点 hadoop安装过程中包括yarn的节点，hadoop有多个节点，spark也是多个节点，也区分master和slave

文章 2017-12-19 来自：开发者社区

hadoop+spark集群搭建

1.选取三台服务器（CentOS系统64位） 　　114.55.246.88 主节点 　　114.55.246.77 从节点 　　114.55.246.93 从节点      之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。 　　我是用roo...

文章 2017-11-22 来自：开发者社区

spark和zeppelin实践一：安装hadoop篇

一、安装JDK 1.7 JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载后安装 [plain] view plain copy  rpm -ivh jdk-8u112-linux-x64.rpm &n...

文章 2017-11-21 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之环境准备（图文详解）

关于下载，这两个spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包不多赘述。 http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz http://archive.apache.org/dist/spark/spark-2.2.0/sp.....

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之环境准备（图文详解）
文章 2017-11-20 来自：开发者社区

Hadoop概念学习系列之谈hadoop/spark里为什么都有，键值对呢？（四十）

　　很少有人会这样来自问自己？只知道，以键值对的形式处理数据并输出结果，而没有解释为什么要以键值对的形式进行。 包括hadoop的mapreduce里的键值对，spark里的rdd里的map等。 　　这是为什么呢？ 　　 1、键值对的具体含义 　　首先，我们会通过强调Java标准库中的类似概念，来阐明我们所说的键值对的含义。 java.util.Map接口是常用类，如HashMap，甚至原始Ha....

文章 2017-11-20 来自：开发者社区

Hadoop概念学习系列之为什么hadoop/spark执行作业时，输出路径必须要不存在？（三十九）

　很多人只会，但没深入体会和想为什么要这样？ 　　拿Hadoop来说，当然，spark也一样的道理。 　　输出路径由Hadoop自己创建，实际的结果文件遵守part-nnnn的约定。 　　如何指定一个已有目录作为Hadoop作业的输出路径，作业将无法进行，并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将输出存储到一个目录，它必须是不存的目录。其实，我们可以把这个特点当做Hadoop的一....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多hadoop相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注