文章 2016-04-13 来自:开发者社区

HDFS源码分析之数据块Block、副本Replica

        我们知道,HDFS中的文件是由数据块Block组成的,并且为了提高容错性,每个数据块Block都会在不同数据节点DataNode上有若干副本Replica。那么,什么是Block?什么又是Replica?         首先,我们看下Block的定义,如下: /********************...

文章 2016-04-13 来自:开发者社区

HDFS源码分析数据块之CorruptReplicasMap

        CorruptReplicasMap用于存储文件系统中所有损坏数据块的信息。仅当它的所有副本损坏时一个数据块才被认定为损坏。当汇报数据块的副本时,我们隐藏所有损坏副本。一旦一个数据块被发现完好副本达到预期,它将从CorruptReplicasMap中被移除。         我们先看下Corr...

文章 2016-04-13 来自:开发者社区

HDFS源码分析数据块复制之PendingReplicationBlocks

        PendingReplicationBlocks实现了所有正在复制的数据块的记账工作。它实现以下三个主要功能:         1、记录此时正在复制的块;         2、一种对复制请求进行跟踪的粗粒度计时器;     ...

文章 2016-03-19 来自:开发者社区

HDFS源码分析心跳汇报之数据块汇报

        在《HDFS源码分析心跳汇报之数据块增量汇报》一文中,我们详细介绍了数据块增量汇报的内容,了解到它是时间间隔更长的正常数据块汇报周期内一个smaller的数据块汇报,它负责将DataNode上数据块的变化情况及时汇报给NameNode。那么,时间间隔更长的正常数据块汇报都做了些什么呢?本文,我们将开始研究下时间间隔更长的正常数据块汇报。 &n...

文章 2016-03-19 来自:开发者社区

HDFS源码分析心跳汇报之数据块增量汇报

        在《HDFS源码分析心跳汇报之BPServiceActor工作线程运行流程》一文中,我们详细了解了数据节点DataNode周期性发送心跳给名字节点NameNode的BPServiceActor工作线程,了解了它实现心跳的大体流程:         1、与NameNode握手:    ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注