文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一导读

前 言 Hadoop海量数据处理:技术详解与项目实战(第2版)为什么要写这本书2013年被称为“大数据元年”,标志着世界正式进入了大数据时代,而就在这一年,我加入了清华大学苏州汽车研究院大数据处理中心,从事Hadoop的开发、运维和数据挖掘等方面的工作。从出现之日起,Hadoop就深刻地改变了人们处理数据的方式。作为一款开源软件,Hadoop能让所有人享受到大数据红利,让所有人在大数据时代站在了....

文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.8 小结

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.8节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.8 小结 本章主要安装Hadoop生态圈的各个组件,随着集群容量越来越多,手动方式其实是不可取的,利用批量安装部署的工具可以很快部署大量集群,但对于学习来和理解原理来说,这是必不可少的。

文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.7 Cloudera Manager

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.7节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.7 Cloudera Manager 读到这里的时候,读者可能觉得安装Hadoop是一件比较麻烦的事情,特别是在需要安装的组件特别多、安装的主机特别多的情况下(例如几百台),这种安装方式就不太可取了。在C....

文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.6 安装Sqoop

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.6节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.6 安装Sqoop Sqoop是一个开源工具,它允许用户将数据从关系型数据库抽取到Hadoop中,用于进一步的处理。抽取出的数据可以被MapReduce作业使用,也可以被其他类似于Hive的工具使用。一旦....

文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.5 安装HBase

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.5节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.5 安装HBase 本节将讲解如何安装HBase。HBase是基于HDFS的,所以在安装HBase之前,要确保安装好了Hadoop。另外,HBase也和Hadoop一样,分为完全分布模式和伪分布模式,下面....

文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.4 安装Hive

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.4节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.4 安装Hive 在这一节,我们将进行Hive的安装。与安装Hadoop相比,Hive的安装非常简单,并且有些工作已经在安装Hadoop的时候完成,例如JDK的安装。并且Hive作为Hadoop的一个客户....

文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.3 安装Hadoop

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.3节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.3 安装Hadoop 本节将学习如何安装并运行Hadoop集群。 对于Hadoop发行版的选择,结合2.1节的内容,我们选择CDH5,该版本是目前生产环境中装机量最大的版本之一,涵盖了所有的Hadoop的....

文章 2017-05-02 来自:开发者社区

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.2 Hadoop架构

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.2节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.2 Hadoop架构 Hadoop主要由两部分构成:分布式文件系统HDFS和统一资源管理和调度系统YARN。正如前文所述,分布式文件系统主要是用于海量数据的存储,而YARN主要是管理集群的计算资源并根据计....

文章 2017-04-03 来自:开发者社区

数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径

让业务搭乘大数据技术确实是件非常有吸引力的事情,而Apache Hadoop让这个诱惑来的更加的猛烈。Hadoop是个大规模可扩展数据存储平台,构成了大多数大数据项目基础。Hadoop是强大的,然而却需要公司投入大量的学习精力及其它的资源。 如果得到正确的应用,Hadoop确实能从根本上提升你公司的业务,然而这条Hadoop的应用之路却充满了荆棘。另一个方面,许多企业(当然不是Google、Fa....

文章 2017-03-03 来自:开发者社区

满满的技术干货!Hadoop顶级会议Apache Hadoop Summit精华讲义分享

Apache Hadoop Summit是Hadoop技术的顶级会议,这里大咖云集,一同探讨世界上最新的Hadoop发展动态以及产品应用和技术实践。 本文整理了Apache Hadoop Summit  Tokyo 2016上的精选演讲的讲义,无论是你想要的是Hadoop发展前沿,是Hadoop优化技巧,还是技术最佳实践,统统都在这里! 【Hadoop Summit Tokyo 2016...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注