文章 2024-06-12 来自:开发者社区

【大数据】HDFS、HBase操作教程(含指令和JAVA API)

1.前言 本文是作者大数据专栏系列的其中一篇,前文中已经详细聊过分布式文件系统HDFS和分布式数据库HBase了,本文将会是它们的实操讲解。 2.HDFS 2.1.指令操作 创建目录: hdfs dfs -mkdir /user/mydir 递归创建目录: hdfs dfs -mkdir -p /user/...

【大数据】HDFS、HBase操作教程(含指令和JAVA API)
文章 2023-11-20 来自:开发者社区

HDFS教程(05)- HDFS磁盘均衡

01 引言在前面的教程,我们知道了HDFS的联邦机制了,有兴趣的同学可以参阅:《HDFS教程(01)- 初识HDFS》《HDFS教程(02)- HDFS命令汇总》《HDFS教程(03)- HDFS高可用与容错》《HDFS教程(04)- HDFS...

HDFS教程(05)- HDFS磁盘均衡

Hadoop 分布式文件系统 HDFS

43 课时 |
1098 人已学 |
免费
开发者课程背景图
文章 2023-11-20 来自:开发者社区

HDFS教程(04)- HDFS联邦

01 引言在前面的教程,我们知道了HDFS的高可用和容错机制了,有兴趣的同学可以参阅:《HDFS教程(01)- 初识HDFS》《HDFS教程(02)- HDFS命令汇总》《HDFS教程(03)- HDFS高可用与容错》本文接下来主要讲的是HDFS联邦。02 HDFS联邦2...

HDFS教程(04)- HDFS联邦
文章 2023-11-20 来自:开发者社区

HDFS教程(03)- HDFS高可用与容错

01 引言在前面的教程,我们对HDFS有一个简单的认识以及会使用它的命令了,有兴趣的同学可以参阅:《HDFS教程(01)- 初识HDFS》《HDFS教程(02)- HDFS命令汇总》本文继续讲解概念问题,HDFS是如何保证高可用和容错的?02 HDFS高可用2.1 DataNode高可...

HDFS教程(03)- HDFS高可用与容错
文章 2023-11-20 来自:开发者社区

HDFS教程(02)- HDFS命令汇总

01 引言在前面的教程,我们对HDFS有一个简单的认识了,有兴趣的同学可以参阅:《HDFS教程(01)- 初识HDFS》本文主要简介HDFS的安装与命令的汇总。02 HDFS安装因为HDFS是Hadoop的核心组件,所以安装了Hadoop就相当于把HDFS安装了,具体的安装方式可以参考之前写的博客《...

文章 2023-11-20 来自:开发者社区

HDFS教程(01)- 初识HDFS

01 引言由于接下来需要用到hdfs的技术,从本篇开始,有关hdfs的学习笔记都会记录到《HDFS专栏》专栏。接下来,开始我们愉快的Hdfs学习之旅!02 HDFS概述2.1 HDFS定义HDFS(Hadoop Distributed File System):它是一个文件系统,用于存...

HDFS教程(01)- 初识HDFS
文章 2019-01-28 来自:开发者社区

[python作业AI毕业设计博客]大数据Hadoop工具python教程1-HDFS Hadoop分布式文件系统

Hadoop分布式文件系统(HDFS:Hadoop Distributed File System)是基于Java的分布式文件系统分布式,可扩展和可移植的文件系统,旨在跨越大型商用服务器集群。 HDFS的设计基于谷歌文件系统GFS(https://ai.google/research/pubs/pub51)。与许多其他分布式文件系统一样,HDFS拥有大量数据并提供对许多客户端的透明访问。 HDF....

文章 2019-01-28 来自:开发者社区

[雪峰磁针石博客]大数据Hadoop工具python教程2-python访问HDFS

https://pypi.org/project/hdfs3 已经不维护PyArrow https://pypi.org/project/hdfs/https://pypi.org/project/snakebite/ python2中比较好,对python3支持不好。 hdfs和PyArrow比较常用,这里以hdfs为例:  快速入门 from hdfs import InsecureClie....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。