文章 2024-06-12 来自:开发者社区

【大数据】HDFS、HBase操作教程(含指令和JAVA API)

1.前言 本文是作者大数据专栏系列的其中一篇,前文中已经详细聊过分布式文件系统HDFS和分布式数据库HBase了,本文将会是它们的实操讲解。 2.HDFS 2.1.指令操作 创建目录: hdfs dfs -mkdir /user/mydir 递归创建目录: hdfs dfs -mkdir -p /user/...

【大数据】HDFS、HBase操作教程(含指令和JAVA API)
文章 2024-03-22 来自:开发者社区

HDFS的API操作

环境准备 首先拷贝hadoop-3.1.0到非中文路径(比如d:\),然后配置HADOOP_HOME环境变量和Path环境变量。 在IDEA中创建一个Maven工程,并导入相应的依赖坐标: <dependencies> <dependency&...

HDFS的API操作

Hadoop 分布式文件系统 HDFS

43 课时 |
1096 人已学 |
免费
开发者课程背景图
文章 2023-12-26 来自:开发者社区

[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS

历史文章[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFSHTTPFS概述l HttpHDFS本质上和WebHDFS是一样的,都是提供HTTP REST API功能,但它们的区别是HttpHDFS是HttpFS是一个独立于HadoopNameNode的服务,它本身就是Java JettyWeb应用程序。l 因为是可以独立部署的,所以可以对HttpHDFS设置....

[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS
文章 2023-12-26 来自:开发者社区

✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS

前言目前博客Hadoop文章大都停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路!历史文章[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS[hadoop3.x系列]Hadoo....

✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
文章 2023-12-20 来自:开发者社区

【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)

需要源码请点赞关注收藏后评论区留言私信~~~一、HDFS的Shell介绍Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执行相应的操作,Shell分为图形界面Shell和命令行式Shell。文件系统(FS)Shell包含了各种的类Shell的命令,可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。常用命令如下 二、案例-Shel....

【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
文章 2023-12-07 来自:开发者社区

大数据 | Java 操作 HDFS 常用 API

         上篇文章介绍了关于 HDFS 的常用命令,其常用的命令都有相应的 API,用命令可以完成的功能,使用 Java API 也可以完成。本文介绍关于 HDFS 常用的 Java API。一、回顾常用的命令        在上篇文章中整理了 HDFS 常用的命令,这里进行简单的回顾。  ...

大数据 | Java 操作 HDFS 常用 API
文章 2023-11-06 来自:开发者社区

HDFS基本命令及上传文件API

一、HDFS基本命令行操作:1.HDFS集群修改SecondaryNameNode位置到hd09-2    (1)修改hdfs-site.xml<configuration> //配置元数据存储位置 <property> <name>dfs...

文章 2023-10-09 来自:开发者社区

大数据问题排查系列 - HDFS FileSystem API 的正确打开方式,你 GET 了吗?

前言大家好,我是明哥!本片博文是“大数据问题排查系列”之一,我们首先会聊聊一个问题的现象原因和解决方法,然后给出 HDFS FileSystem API 常见的两种使用方式,最后来看下 HDFS 源码中是如何根据用户的配置文件创建对应的 FileSystem 对象实例的。以下是正文。从一个报错聊起问题现象:某 J...

大数据问题排查系列 - HDFS FileSystem API 的正确打开方式,你 GET 了吗?
文章 2023-08-03 来自:开发者社区

Hadoop基础学习---3、HDFS概述、HDFS的Shell操作、HDFS的API操作

1、HDFS概述1.1 HDFS产出背景及定义1、HDFS产生背景随着数据量越来越大,在一个操作系统存不住所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2、HDFS定义HDFS(H...

Hadoop基础学习---3、HDFS概述、HDFS的Shell操作、HDFS的API操作
文章 2023-07-03 来自:开发者社区

大数据数据存储的分布式文件系统的HDFS的基本使用的对应的API编程接口

使用 java.io.File 类可以对 Hdfs 中的文件进行操作,使用 java.io.IOException 类可以处理 IO 异常。 使用 org.apache.hadoop.hdfs.FileSystem 类可以对 Hdfs 中的文件系统进行操作,使用 org.apache.hadoop.hdfs.DFSIOException 类可以处理 DFSIO 异常。...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。