文章 2024-02-07 来自:开发者社区

Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)

操作位置 声明,为方便操作,所有内容都在【/opt】文件夹下。 cd /opt 上传压缩包 ...

Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第四章、zookeeper(集群)(2)

9、远程拷贝到【a1】与【a2】scp -r /opt/zookeeper a1:/opt/zookeeper scp -r /opt/zookeeper a2:/opt/zookeeper10、修改【a1】与【a2】的myid编号vi /opt/zookeeper/data/myid11、脚本拷贝并执行scp -r /etc/profile.d/hadoop-eco.sh a1:/etc/pr....

Hadoop快速入门——第四章、zookeeper(集群)(2)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第四章、zookeeper(集群)(1)

前置条件:配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop-eco.sh ZOOKEEPER_HOME=/opt/zo....

Hadoop快速入门——第四章、zookeeper(集群)(1)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第四章、zookeeper安装

1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop-eco.shZOOKEEPER_HOME=/opt/zookeeperPATH=$PATH:$ZOOKEEPER_....

Hadoop快速入门——第四章、zookeeper安装
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第三章、MapReduce案例(字符统计)(2)

4、本地文件测试本地测试文件【D:\\info.txt】:Accept that this is your starting point.Instead of placing judgements on it,see the real,positive value that’s already yours.You cannot change where your past priorities ....

Hadoop快速入门——第三章、MapReduce案例(字符统计)(2)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第三章、MapReduce案例(字符统计)(1)

环境要求:1、分布式/伪分布式的hadoop环境【hadoop2.7.3】2、win10本地Java环境【jdk8】3、win10本地hadoop环境【2.7.3】4、win10本地Maven环境【Maven3】5、idea开发工具【IntelliJ IDEA 2020.1.3 x64】1、项目创建:需要建立【maven】项目,建立过程中项目名称无所谓:2、修改Maven点击【file】->...

Hadoop快速入门——第三章、MapReduce案例(字符统计)(1)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(2)

查看目录信息:做一些测试文件:遍历【/data/下的所有文件】 import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyst....

Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(2)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(1)

Hadoop快速入门——第二章、分布式集群引包:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version> </dependen...

Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)(1)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)

Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年, Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统, HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件流式数据访问商用硬件不能处理低时间延迟的数据访问不能存放大量小文件无法高效实现多用户写入或者任意修改文件在 2002 年, Google ....

Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
文章 2022-11-07 来自:开发者社区

Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(2)

3、启动关闭防火墙三台机器分别关闭防火墙【systemctl stop firewalld】禁止启动防火墙三台机器分别禁用防火墙【systemctl disable firewalld】格式化namenode三台机器分别执行【source /etc/profile.d/hadoop-eco.sh】主机master执行【hdfs namenode -format】执行启动脚本master执行:【s....

Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(2)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注