大数据 | HDFS 如何实现故障自动转移

大数据 | HDFS 如何实现故障自动转移

为什么需要自动故障转移        在 HDFS 2.x 集群的 HA 模式下通常会有两个 NameNode 用来进行记录元数据,其中一个是主节点(Active),另外一个是备节点(Standby)。主备之间的数据同步通过 JournalNode 节点来充当...

大数据 | HDFS 元数据持久化笔记

大数据 | HDFS 元数据持久化笔记

 一、HDFS 架构简单介绍        HDFS 是一个主从(Master/Slaves)的架构,它由一个 NameNode 和一些 DataNode 组成。其中,NameNode 是主,DataNode 是从。文件元数据由 NameNode 负...

Hadoop 分布式文件系统 HDFS

43 课时 |
945 人已学 |
免费
开发者课程背景图
大数据 | Java 操作 HDFS 常用 API

大数据 | Java 操作 HDFS 常用 API

         上篇文章介绍了关于 HDFS 的常用命令,其常用的命令都有相应的 API,用命令可以完成的功能,使用 Java API 也可以完成。本文介绍关于 HDFS 常用的 Java API。一、回顾常用的命令    &n...

大数据笔记 | HDFS 常用操作命令

大数据笔记 | HDFS 常用操作命令

        HDFS 是 Hadoop Distributed File System 的简写,即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目,它为大数据分布式计算提供了海量数据的存储与管理。      ...

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

HDFS目录与文件的创建删除与查询操作一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS目录与文件的创建方法和文件写入到HDFS文件的方法掌握HDFS目录与文件的删除方法掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在...

【大数据开发技术】实验04-HDFS文件创建与写入

【大数据开发技术】实验04-HDFS文件创建与写入

HDFS文件创建与写入一、实验目标熟练掌握Hadoop操作指令及HDFS命令行接口掌握HDFS原理熟练掌握HDFS的API使用方法掌握单个本地文件写入到HDFS文件的方法掌握多个本地文件批量写入到HDFS文件的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试,给出测试效果截图...

【大数据开发技术】实验02-HDFS常用shell命令

【大数据开发技术】实验02-HDFS常用shell命令

HDFS常用shell命令一、实验目标掌握hadoop操作指令及HDFS命令行接口掌握HDFS原理二、实验要求给出每个实验操作步骤成功的效果截图,。对本次实验工作进行全面的总结。完成实验内容后,实验报告文件重命名为:学号姓名实验二。三、实验内容1.列出某个目录下的文件2.递归列出某目录及文件3.创建...

黑马程序员-大数据入门到实战-HDFS分布式存储

黑马程序员-大数据入门到实战-HDFS分布式存储

1. 为什么需要分布式存储① 数据量太大,单机存储能力有上限,需要靠数量来解决问题② 数量的提升带来的是网络传输,磁盘读写、CPU、内存等各方面的综合提升,分布式组合在一起可以达到1+1>2的效果2. 分布式的基础架构分析① 去中心化模式:没有明确中心,大家协调工作② 中心化模式:有明...

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复前言大家好,我是明哥!本片博文是“大数据问题排查系列”之一,讲述某HIVE SQL 作业因为 HIVE 中的元数据与 HDFS中实际的数据不一致引起的一个问题的排查和修复。以下是正文。问题现象客户端报错如下:Un...

大数据问题排查系列 - HDFS FileSystem API 的正确打开方式,你 GET 了吗?

大数据问题排查系列 - HDFS FileSystem API 的正确打开方式,你 GET 了吗?

前言大家好,我是明哥!本片博文是“大数据问题排查系列”之一,我们首先会聊聊一个问题的现象原因和解决方法,然后给出 HDFS FileSystem API 常见的两种使用方式,最后来看下 HDFS 源码中是如何根据用户的配置文件创建对应的 FileSystem 对象实例的。以下是正文。从一个报错聊起问...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。