AI 助理
备案控制台
文章 2016-11-27 来自：开发者社区

Spark BlockManager的通信及内存占用分析(源码阅读九）

　　之前阅读也有总结过Block的RPC服务是通过NettyBlockRpcServer提供打开，即下载Block文件的功能。然后在启动jbo的时候由Driver上的BlockManagerMaster对存在于Executor上的BlockManager统一管理，注册Executor的BlockManager、更新Executor上Block的最新信息、询问所需要Block目前所在的位置以及当E....

文章 2016-11-13 来自：开发者社区

Spark 1.6以后的内存管理机制

 Spark 内部管理机制  　　Spark的内存管理自从1.6开始改变。老的内存管理实现自自staticMemoryManager类，然而现在它被称之为”legacy”. “Legacy” 默认已经被废弃掉了，它意味着相同的代码在1.5版本与1.6版本的输出结果将会不同。需要注意的是，出于兼容性的考虑，你依旧可以使用”legacy”，通过设置spark.memory.useL...

文章 2016-11-02 来自：开发者社区

在内存计算时代，看阿里如何用Spark来进行实践与探索

本文PPT来自阿里云技术专家曹龙（花名：封神）于10月16日在2016年杭州云栖大会上发表的《阿里巴巴Spark实践与探索——内存计算时代》。 随着数据爆发式地增长，如何处理大量的数据成为一项挑战。在此背景下，许多数据处理技术应运而生，这其中典型的技术有数据治理、作业管理、分布式计算和分布式储存等等。同时，许多优秀的分布式引擎也被人们开发出来，比如Hadoop、Spark、Flink和 Tez。....

文章 2016-09-09 来自：开发者社区

Spark会把数据都载入到内存么？

前言 很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位，就会产生一些误解。 比如，很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换，这很可能是受两个概念的误导： RDD的定义，RDD是一个分布式的不可变数据集合 Spark 是一个内存处理引擎 如果你没有主动对RDDCache/Persist,它不过是一个概念上存在的虚拟数据集，你实际上是看不到这个...

文章 2016-09-08 来自：开发者社区

Spark Tungsten in-heap / off-heap 内存管理机制

前言 发现目前还没有这方面的文章，而自己也对这块比较好奇，所以就有了这篇内容。 分析方式基本是自下而上，也就是我们分析的线路会从最基础内存申请到上层的使用。我们假设你对sun.misc.Unsafe 的API有一些最基本的了解。  in-heap 和 off-heap (MemoryAllocator) 首先我们看看 Tungsten 的 MemoryAllocator off-heap...

文章 2016-09-07 来自：开发者社区

Spark Sort Based Shuffle内存分析

前言 借用和董神的一段对话说下背景： shuffle共有三种，别人讨论的是hash shuffle，这是最原始的实现，曾经有两个版本，第一版是每个map产生r个文件，一共产生mr个文件，由于产生的中间文件太大影响扩展性，社区提出了第二个优化版本，让一个core上map共用文件，减少文件数目，这样共产生corer个文件，好多了，但中间文件数目仍随任务数线性增加，仍难以应对大作业，但hash shu....

文章 2016-09-07 来自：开发者社区

Spark Streaming 数据产生与导入相关的内存分析

前言 我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。 一个大致的数据接受流程 一些存储结构的介绍 哪些点可能导致内存问题，以及相关的配置参数 另外，有位大牛写了Spark Streaming 源码解析系列，我觉得写的不错，这里也推荐下。 我在部门尽力推荐使用Spark Streaming做数据处理，目前已经应用在日志处理，机器学习等领...

文章 2016-05-06 来自：开发者社区

Spark会把数据都载入到内存么?

      前言　　       很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位，就会产生一些误解。 　　比如，很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换，这很可能是受两个概念的误导： 　　RDD的定义，RDD是一个分布式的不可变数据集合 　　Spark 是一个内存处理引擎 　　如果你没有主动对RD...

文章 2016-04-08 来自：开发者社区

Spark On YARN内存分配

本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。 当在YARN上运行Spark作业，每个Spark exe...

文章 2013-08-15 来自：开发者社区

Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象

本文是阅读《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。 论文地址http://www.cs.berkeley.edu/~matei/.....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多内存相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注