文章 2017-11-22 来自:开发者社区

高可用Hadoop平台-启航

1.概述   在上篇博客中,我们搭建了《配置高可用Hadoop平台》,接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了。工欲善其事,必先利其器。是的,没错;我们开发需要有开发工具(IDE);本篇文章,我打算讲解如何搭建和使用开发环境,以及编写和讲解WordCount这个例子,给即将在Hadoop的海洋驰骋的童鞋入个门。上次,我在《网站日志统计案例分析与实现》中说会将源码放到Gith....

高可用Hadoop平台-启航
文章 2017-11-22 来自:开发者社区

高可用Hadoop平台-探索

1.概述   上篇《高可用Hadoop平台-启航》博客已经让我们初步了解了Hadoop平台;接下来,我们对Hadoop做进一步的探索,一步一步的揭开Hadoop的神秘面纱。下面,我们开始赘述今天的探索之路。 2.探索   在探索之前,我们来看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到单台服务器无法进行存储,单台服务器无法在限定的时间内进行处理)的可靠存储和处理。 HDF.....

高可用Hadoop平台-探索
文章 2017-11-20 来自:开发者社区

高可用Hadoop平台-答疑篇

1.概述   这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案?   针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行业的同学做个参考。 2.我学 Hadoop 后能从事什么岗位   目前 Hadoop 相关的工作大致...

高可用Hadoop平台-答疑篇
文章 2017-11-20 来自:开发者社区

高可用Hadoop平台-HBase集群搭建

1.概述   今天补充一篇HBase集群的搭建,这个是高可用系列遗漏的一篇博客,今天抽时间补上,今天给大家介绍的主要内容目录如下所示: 基础软件的准备 HBase介绍 HBase集群搭建 单点问题验证 截图预览   那么,接下来我们开始今天的HBase集群搭建学习。 2.基础软件的准备   由于HBase的数据是存放在HDFS上的,所以我们在使用HBase时,确保Hadoop集群已搭建完成,...

高可用Hadoop平台-HBase集群搭建
文章 2017-11-20 来自:开发者社区

高可用Hadoop平台-Ganglia安装部署

1.概述   最近,有朋友私密我,Hadoop有什么好的监控工具,其实,Hadoop的监控工具还是蛮多的。今天给大家分享一个老牌监控工具Ganglia,这个在企业用的也算是比较多的,Hadoop对它的兼容也很好,不过就是监控界面就不是很美观。下次给大家介绍另一款工具——Hue,这个界面官方称为Hadoop UI,界面美观,功能也比较丰富。今天,在这里主要给大家介绍Ganglia这款监控工具,介绍....

高可用Hadoop平台-Ganglia安装部署
文章 2017-11-20 来自:开发者社区

高可用Hadoop平台-Hue In Hadoop

1.概述   前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录: Hue简述 Hue In Hadoop 截图预览   本文所使用的环境是Apache Hadoop-2.6版本,下面开始今天的内容分享。 2.Hue简述   Hue是一个开源的...

高可用Hadoop平台-Hue In Hadoop
文章 2017-11-17 来自:开发者社区

高可用Hadoop平台-Oozie工作流

1.概述   在开发Hadoop的相关应用使用,在业务不复杂,任务不多的情况下,我们可以直接使用Crontab去完成相关应用的调度。今天给大家介绍的是统一管理各种调度任务的系统,下面为今天分享的内容目录: 内容介绍 Oozie Server 截图预览   下面开始今天的内容分享。 2.内容介绍   今天的内容不涉及Oozie的具体细节操作,它的工作流程在下一篇博客为大家详细介绍。今天主要给大...

高可用Hadoop平台-Oozie工作流
文章 2016-04-20 来自:开发者社区

高可用Hadoop平台-Hue In Hadoop

1.概述 今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录: Hue简述 Hue In Hadoop 截图预览   本文所使用的环境是Apache Hadoop-2.6版本,下面开始今天的内容分享。 2.Hue简述   Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给A...

文章 2016-04-19 来自:开发者社区

高可用Hadoop平台-探索

1.概述   接下来,我们对Hadoop做进一步的探索,一步一步的揭开Hadoop的神秘面纱。下面,我们开始赘述今天的探索之路。 2.探索   在探索之前,我们来看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到单台服务器无法进行存储,单台服务器无法在限定的时间内进行处理)的可靠存储和处理。 HDFS:在由普通或廉价的服务器(或PC)组成的集群上提供高可用的文件存储,通过将块.....

高可用Hadoop平台-探索
文章 2016-04-19 来自:开发者社区

高可用Hadoop平台-运行MapReduce程序

1.概述   最近有同学反应,如何在配置了HA的Hadoop平台运行MapReduce程序呢?对于刚步入Hadoop行业的同学,这个疑问却是会存在,其实仔细想想,如果你之前的语言功底不错的,应该会想到自动重连,自动重连也可以帮我我们解决运行MapReduce程序的问题。然后,今天我赘述的是利用Hadoop的Java API 来实现。 2.介绍   下面直接附上代码,代码中我都有注释。 2.1Ja....

高可用Hadoop平台-运行MapReduce程序

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注