文章 2024-06-21 来自:开发者社区

分布式系统详解--框架(Hadoop-单机版搭建)

分布式系统详解--框架(Hadoop-单机版搭建)       前面讲了这么多的理论知识,也有一些基础的小知识点,很简单的概括了一下。从这篇文章开始,就会进入到一个理论实践相结合中,这篇文章主要是讲的Hadoop,讲解它的基础认识、安装、常用命令、还有就是代码实现。让我们开始跟着小象走一遭~~ ...

分布式系统详解--框架(Hadoop-单机版搭建)
文章 2024-06-21 来自:开发者社区

分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)

分布式系统详解 - 框架(Hadoop的HDFS的HA搭建及测试) 一,背景概述 解决问题1:通过上面的图我们可以明确的看出来,如果的的Namenode坏掉了,那我们的整个集群可以说就是要瘫痪了也就是单节点故障问题。...

分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
文章 2024-06-21 来自:开发者社区

分布式系统详解--框架(Hadoop--RPC协议)

 分布式系统详解--框架(Hadoop--RPC协议)       在之前的一篇文章当中已经写过一篇文章是关于RPC通信协议的文章,是    分布式系统详解--基础知识(通信)。是讲的关于网络通信的最基本的知识。这篇文章也简单讲一下关于hadoop内部的网络通信。 一、hadoop的RPC模式 C/S模式 ...

分布式系统详解--框架(Hadoop--RPC协议)
文章 2024-06-21 来自:开发者社区

分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)

分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)        前面的文章介绍了怎么将整个集群系统搭建起来,并进行了有效的测试。为了解决登录一台服务器登录其他服务器需要多次输入密码的问题,提供了SSH免密码登录解决方案。还有一些hadoop的简单操作shell命令。今天我们就结合eclipse来用JAVA语言来读取和操作我们的h...

分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)
文章 2024-06-21 来自:开发者社区

分布式系统详解--框架(Hadoop-基本shell命令)

分布式系统详解--框架(Hadoop-基本shell命令)        前面的文章我们已经将一个集群搭建好了,现在就需要知道一些关于hadoop的基本操作命令,这篇文章就简单介绍一下hadoop的基本操作shell命令。 一、安装hadoop后,hadoop fs 在常用命令上进行了标注。 ...

文章 2024-06-21 来自:开发者社区

分布式系统详解--框架(Hadoop-Ssh免密登陆配置)

分布式系统详解--框架(Hadoop-Ssh免密登陆配置)         配置Ssh非常简单,其实就是为了避免将来集群机器变得很多导致操作本机、后者操作其它服务器输入密码的次数太多而浪费了太多的时间,在这儿我们配置了这个Ssh免登录将会节省一大部分时间。我们看如何来解决这一问题。 一、测试从一台服务器登录另外一台服务器。 通过图...

分布式系统详解--框架(Hadoop-Ssh免密登陆配置)
文章 2024-06-21 来自:开发者社区

分布式系统详解--框架(Hadoop-集群搭建)

 分布式系统详解--框架(Hadoop-集群搭建)       前面的文章也简单介绍了,hadoop的环境搭建分为三种,单机版,伪分布式,全分布式。这篇文章为介绍hadoop的全分布式的架构搭建。 ...

分布式系统详解--框架(Hadoop-集群搭建)
文章 2024-05-31 来自:开发者社区

分布式计算框架比较:Hadoop、Spark 与 Flink

在大数据处理领域,Hadoop、Spark 和 Flink 是三个非常重要的分布式计算框架,它们各自有着独特的特点和优势。 Hadoop 是分布式计算的先驱框架。它主要由 HDFS(分布式文件系统)和 MapReduce(计算框架)组成。Hadoop 擅长处理大规模的批量数据处理任务,具有高度的可扩...

文章 2024-05-13 来自:开发者社区

【分布式计算框架】hadoop全分布式及高可用搭建

hadoop全分布式及高可用搭建 一、实验目的 hadoop完全分布式搭建 hadoop高可用搭建 二、实验环境 ubuntu 6.5 VMware Workstation 三、实验内容 hadoop全分布式搭建 一、准备工作:(前提:已配置好node01为伪分布式服务器) ...

【分布式计算框架】hadoop全分布式及高可用搭建
文章 2024-05-13 来自:开发者社区

【分布式计算框架】Hadoop伪分布式安装

Hadoop伪分布式安装 一、实验目的 安装Linux虚拟机(至少五台) hadoop伪分布式安装 二、实验环境 centos 6.5 三、实验内容 基本任务1:安装Linux虚拟机(至少5台) (1)BIOS设置(开启虚拟化) ...

【分布式计算框架】Hadoop伪分布式安装

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云分布式应用服务

企业级分布式应用服务 EDAS(Enterprise Distributed Application Service)是应用全生命周期管理和监控的一站式PaaS平台,支持部署于 Kubernetes/ECS,无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ,Java支持Spring Cloud、Apache Dubbo近五年所有版本,多语言应用一键开启Service Mesh。

+关注