《Spark与Hadoop大数据分析》——3.3 Spark 程序的生命周期
3.3 Spark 程序的生命周期 以下步骤讲解了配备 Standalone 资源管理器的 Spark 应用程序的生命周期，图3-8 显示了Spark程序的调度过程： （1）用户使用 spark-submit 命令提交一个 Spark 应用程序。（2）spark-submit 在同一节点（客户端模式）或集群（集群模式）上启动驱动进程，并调用由用户指定的 main 方法。（3）驱动进程联系集群管理....
《Spark与Hadoop大数据分析》——3.2 学习Spark的核心概念
3.2 学习Spark的核心概念 在本节，我们要了解 Spark 的核心概念。Spark 提供的主要抽象是弹性分布式数据集（Resilient Distributed Dataset，RDD）。因此，我们要了解 RDD 是什么，以及提供内存级性能和容错的 RDD 中包含的运算。但是，首先我们要学习使用 Spark 的方法。 3.2.1 使用 Spark 的方法 使用 Spark 有两种方法，即 ....
《Spark与Hadoop大数据分析》——3.1 启动 Spark 守护进程
3.1 启动 Spark 守护进程 如果你计划使用 Standalone 的集群管理器，则需要启动 Spark 的主机（master）和工作机（worker）的守护进程（daemon），它们是 Spark 架构的核心组件。守护进程的启动/停止在不同的发行版里略有差异。Hadoop 发行版（如 Cloudera、Hortonworks 和 MapR）会把 Spark 作为服务，并把 YARN 作为....
《Spark与Hadoop大数据分析》——第3章 深入剖析Apache Spark
第3章 深入剖析Apache Spark Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API：DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API 之上。我们有必要了解 RDD 的更深层概念，包括运行时的架构和它在 Spark 各种资源管理器上的表现。 本章分为以下子主题：
《Spark与Hadoop大数据分析》——2.5 小结
2.5 小结 Apache Hadoop 提供了一个用于大数据存储的可靠且可扩展的框架（HDFS），以及一个用于运行和管理多个大数据应用程序的强大集群资源管理框架（YARN）。Apache Spark 提供了大数据处理的内存级性能，以及用于交互式探索性分析、实时分析、机器学习和图分析的库和 API。虽然 MR 是 Hadoop 上的主要处理引擎，但它有很多缺点，例如性能较差和设计应用程序时不够灵....
《Spark与Hadoop大数据分析》——2.4 安装 Hadoop 和 Spark 集群
2.4 安装 Hadoop 和 Spark 集群 在安装 Hadoop和Spark之前，让我们来了解一下 Hadoop和Spark的版本。在 Cloudera、Hortonworks和MapR这所有三种流行的Hadoop发行版中，Spark都是作为服务提供的。在本书编写的时候，最新的Hadoop和Spark版本分别是2.7.2和2.0。但是，Hadoop发行版里可能是一个较低版本的Spark，这....
《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用
2.3 为何把 Hadoop 和 Spark 结合使用 Apache Spark 与 Hadoop 结合使用时表现更好。为了理解这一点，让我们来看看 Hadoop 和 Spark 的特性。 2.3.1 Hadoop 的特性 2.3.2 Spark 的特性 当这两个框架结合起来的时候，我们就得到了具有内存级性能的企业级应用的威力，如图2-11 所示。 关于 Spark 的常见问题 以下是从业者...
《Spark与Hadoop大数据分析》——2.2 Apache Spark概述
2.2 Apache Spark概述 Hadoop和MR已有10年历史，已经被证明是高性能处理海量数据的最佳解决方案。然而，MR在迭代计算中性能不足，在这种情况下，多个MR作业之间的输出必须被写入 HDFS。在单个MR作业中，它的性能不足则是因为MR框架存在的一些缺点所致。 让我们来看看计算趋势的发展历史，以便了解计算的格局在过去20年中的变化。 这个趋势是当网络成本更低时（1990年代）对UR....
《Spark与Hadoop大数据分析》——2.1 Apache Hadoop概述
2.1 Apache Hadoop概述 Apache Hadoop 是一个软件框架，可以在具有数千个节点和 PB 级数据的大型集群上进行分布式处理。Apache Hadoop 集群可以使用故障率一般较高的低价通用硬件来构建。Hadoop 的设计能够在没有用户干预的情况下优雅地处理这些故障。此外，Hadoop 采用了让计算贴近数据（move computation to the data）的方法，....
《Spark与Hadoop大数据分析》——第2章 Apache Hadoop和Apache Spark入门
第2章 Apache Hadoop和Apache Spark入门 在本章，我们将学习 Hadoop 和 Spark 的基本知识，了解 Spark 与 MapReduce 有哪些不同，并开始安装集群和设置分析所需的工具。 本章分为以下几个子主题：
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
apache spark更多hadoop相关
- hadoop apache spark
- apache spark hadoop区别
- hadoop apache spark异同
- hadoop apache spark特点
- 系统hadoop apache spark
- hadoop apache spark技术
- hadoop apache spark区别
- 大数据开发hadoop apache spark
- hadoop apache spark项目案例
- hadoop apache spark storm
- apache spark Hadoop大数据分析
- apache spark Hadoop大数据小结
- apache spark Hadoop大数据
- hadoop apache spark项目
- apache spark Hadoop项目
- apache spark hadoop大数据分析宏观视角
- apache spark核心思想源码分析hadoop配置executor
- 读懂hadoop apache spark异同
- apache spark Hadoop大数据结合使用
- apache spark Hadoop大数据应用程序
- apache spark Hadoop大数据资源管理器
- apache spark Hadoop大数据导读
apache spark您可能感兴趣
- apache spark报错
- apache spark任务
- apache spark yarn
- apache spark开源
- apache spark学习
- apache spark架构
- apache spark节点
- apache spark日志
- apache spark程序
- apache spark Python
- apache spark SQL
- apache spark streaming
- apache spark数据
- apache spark Apache
- apache spark大数据
- apache spark rdd
- apache spark MaxCompute
- apache spark集群
- apache spark运行
- apache spark summit
- apache spark模式
- apache spark分析
- apache spark flink
- apache spark Scala
- apache spark机器学习
- apache spark应用
- apache spark实战
- apache spark技术
- apache spark操作
- apache spark大数据分析
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！
+关注