Spark学习---7、Spark内核（源码提交流程、任务执行、Shuffle、内存管理）（一）
这是本人的学习过程，看到的同道中人祝福你们心若有所向往，何惧道阻且长；但愿每一个人都像星星一样安详而从容的，不断沿着既定的目标走完自己的路程；最后想说一句君子不隐其短，不知则问，不能则学。如果大家觉得我写的还不错的话希望可以收获关注、点赞、收藏（谢谢大家）一、源码全流程1.1 Spark提交流程（YarnCluster）1.2 Spark通讯架构1.3 Spark任务划分1.4 任务调度1.5 ....
学习分享（第 2 期）：从源码层面看 Redis 节省内存的设计
这里记录每周的学习分享，周一/周二发表，文章维护在 Github：studeyang/leanrning-share。回顾在文章《Redis 的 String 类型，原来这么占内存》中，我们学习了 SDS 的底层结构，发现 SDS 存储了很多的元数据，再加上全局哈希表的实现，使得 Redis String 类型在内存占用方面并不理想。然后在文章《学习分享（第1期）之Redis：巧用Hash类型节....
Redis源码剖析之内存淘汰策略(Evict)
Redis作为一个成熟的数据存储中间件，它提供了完善的数据管理功能，比如之前我们提到过的数据过期和今天我们要讲的数据淘汰(evict)策略。在开始介绍Redis数据淘汰策略前，我先抛出几个问题，帮助大家更深刻理解Redis的数据淘汰策略。何为数据淘汰，Redis有了数据过期策略为什么还要有数据淘汰策略？淘汰哪些数据，有什么样的数据选取标准？Redis的数据淘汰策略是如何实现的？何为Evict我先....
学习CLR源码:连续内存块数据操作的性能优化
C# 原语类型按照内存分配来区分，C# 有值类型、引用类型；按照基础类型类型来分，C# 有 内置类型、通用类型、自定义类型、匿名类型、元组类型、CTS类型(通用类型系统)；C# 的基础类型包括：整型: sbyte, byte, short, ushort, int, uint, long, ulong实数类型: float, double, decimal字符类型: char布尔类型: bool....
【Java 虚拟机原理】JDK 体系结构 | Java 源码运行原理 | Java 虚拟机内存
文章目录一、JDK 体系结构二、Java 源码运行原理三、Java 虚拟机内存结构一、JDK 体系结构JDK 体系结构 : 下图所有的内容都是 JDK 体系中的组成元素 ;Java Language : 最上层是 Java 语言 ;Tools & Tool APIs : 指令工具集 , 手动编译 Java 源码时会用到 , 如 java 执行字节码程序 , javac 编译字节码程序 ,....
深入Netty源码解析内存优化技巧
1 降低对象大小能用基本类型就不用包装类懂得都懂。应该定义成类变量的不要定义为实例变量一个类 =》 一个类变量一个实例 =》一个实例变量一个类 =》 多个实例实例越多，浪费越多当然 netty 会结合这两点！2 预估分配的内存对已可预知固定size的HashMap避免扩容提前计算好初始size或者直接使用com.google.common.collect.Maps#newHashMapWithE....
关于redis源码的内存分配,jemalloc,tcmalloc,libc
jemalloc是facebook推出的,https://github.com/jemalloc/jemalloctcmalloc是Google推出的,https://github.com/gperftools/gperftoolslibc是标准的内存分配库malloc和free我们知道Redis并没有自己实现内存池，没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率....
看源码有个小问题，RocksDBStateBackend 的 writeOptions 都把 disableWAL 设为 true, 是为了加速么？那如果地址放在内存盘里，是不是这里就不能这样了？ 另外现在 Flink 状态管理很粗放，HeapKeyedStateBackend & DefaultOperatorStateBackend 都是直接放入堆内存且各种 copy，经常导致 OOM，这点 dataArtisans 的同学说暂时没太多改进计划...
转自钉钉群21789141：看源码有个小问题，RocksDBStateBackend 的 writeOptions 都把 disableWAL 设为 true, 是为了加速么？那如果地址放在内存盘里，是不是这里就不能这样了？另外现在 Flink 状态管理很粗放，HeapKeyedStateBackend & DefaultOperatorStateBackend 都是直接放入堆内存且各种 ...
Nginx源码剖析之内存池，与内存管理
引言 Nginx（发音同 engine x）是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，最初供俄国大型的入口网站及搜寻引擎Rambler（俄文：Рамблер）使用。 其...
Flink内存管理源码解读之内存管理器
回顾 上一篇文章我们谈了Flink自主内存管理的一些基础的数据结构。那篇中主要讲了数据结构的定义，这篇我们来看看那些数据结构的使用，以及内存的管理设计。 概述 这篇文章我们主要探讨Flink的内存管理类MemoryManager涉及到对内存的分配、回收，以及针对预分配内存而提供的memory segment pool。还有支持跨越多个memory segment数据访问的page vie...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。