AI 助理
文档备案控制台
文章 2017-11-12 来自：开发者社区

hadoop&spark安装（上）

硬件环境： hddcluster1 10.0.0.197 redhat7 hddcluster2 10.0.0.228 centos7  这台作为master hddcluster3 10.0.0.202 redhat7 hddcluster4 10.0.0.181 centos7 软件环境： 关闭所有防火墙firewall openssh-clients openssh-server ...

文章 2017-11-09 来自：开发者社区

hadoop、spark/storm等大数据相关视频资料汇总下载

   小弟不才，工作中也用到了大数据的相关东西。一開始接触的时候，是通过买来的教学视频入的门。这两天整理了一下自己的视频资料。供各位进行下载。         文档截图：          本文转自mfrbuaa博客园博客，原文链...

文章 2017-11-09 来自：开发者社区

大数据框架对比：Hadoop、Storm、Samza、Spark和Flink——flink支持SQL，待看

简介 大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。 在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从....

文章 2017-11-09 来自：开发者社区

【问题】spark运行python写的mapreduce任务，hadoop平台报错，java.net.ConnectException: 连接超时

问题： 用spark-submit以yarn-client方式提交任务，在集群的某些节点上的任务出现连接超时的错误，排查过各种情况后，确定在防火墙配置上出现问题。 原因： 我猜测是python程序启动后，作为Server，hadoop中资源调度是以java程序作为Client端访问， Python启动的Server端需要接受localhost的client访问。 当你从一台linux主机向自身发....

文章 2017-11-03 来自：开发者社区

Spark 概念学习系列之Spark相比Hadoop MapReduce的特点（二）

Spark相比Hadoop MapReduce的特点      （1）中间结果输出      基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。 出于任务管道承接的考虑，当一些查询翻译到MapReduce任务时，往往会产生多个Stage，而这些串联的Stage又依赖于底层文件系统（如HDFS）来存储每...

文章 2017-09-01 来自：开发者社区

《Spark与Hadoop大数据分析》——导读

前　　言 本书讲解了Apache Spark和Hadoop的基础知识，以及如何通过简单的方式将它们与最常用的工具和技术集成在一起。所有Spark组件（Spark Core、Spark SQL、DataFrame、Dataset、Conventional Streaming、Structured Streaming、MLlib、GraphX和Hadoop核心组件）、HDFS、MapReduce和Y....

文章 2017-09-01 来自：开发者社区

《Spark与Hadoop大数据分析》——3.7　小结

3.7　小结 RDD 是 Spark 中基本的数据单元，Spark 编程就是围绕创建和执行 RDD 上的操作（如变换和动作）进行的。Apache Spark 程序可以在 shell 中交互式执行或通过提交应用程序来执行。它的并行度是由 RDD 中的分区数量决定的。而分区的数量则由 HDFS 文件中的区块数或资源管理器的类型以及用于非 HDFS 文件的配置属性决定。 在内存中缓存 RDD 对于在同....

文章 2017-09-01 来自：开发者社区

《Spark与Hadoop大数据分析》——3.6　Spark 资源管理器：Standalone、YARN和Mesos

3.6　Spark 资源管理器：Standalone、YARN和Mesos 在本章其他部分（在 PySpark shell 和应用程序中），我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同，以及它们该在什么情况下使用。 3.6.1　本地和集群模式 在继续讲解集群资源管理器之前，让我们来了解集群模式与本地....

文章 2017-09-01 来自：开发者社区

《Spark与Hadoop大数据分析》——3.5　持久化与缓存

3.5　持久化与缓存 Spark 的一个独特功能是在内存中持久化 RDD。你可以使用 persist 或 cache 变换来持久化 RDD，如下所示： 上述两个语句都是相同的，并且会在 MEMORY_ONLY 存储级别缓存数据。它们的区别在于：cache 是指 MEMORY_ONLY 存储级别，而 persist 可以根据需要选择不同的存储级别，如下表所示。当第一次使用动作来进行计算时，它将保.....

文章 2017-09-01 来自：开发者社区

《Spark与Hadoop大数据分析》——3.4　Spark 应用程序

3.4　Spark 应用程序 让我们来了解 Spark Shell 和 Spark 应用程序之间的区别，以及如何创建和提交它们。 3.4.1　Spark Shell 和 Spark 应用程序 Spark 让你可以通过一个简单的、专门用于执行 Scala、Python、R 和 SQL 代码的 Spark shell 访问数据集。用户探索数据并不需要创建一个完整的应用程序。他们可以用命令开始探索数据....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多hadoop相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注