文章 2017-05-02 来自:开发者社区

大数据教程(一)—— Hadoop集群坏境搭建配置

前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案,更有很多数据相关的项目比如弄几张报表,写几个T-SQL语句就被冠以“大数据项目”,当然了,时下热门的话题嘛,先把“大数据”帽子扣上,这样才能显示出项目的高大上,得到公司的重视或者高层领导的关...

文章 2017-05-02 来自:开发者社区

《Hadoop MapReduce实战手册》一第1章 搭建Hadoop并在集群中运行

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 第1章 搭建Hadoop并在集群中运行 Hadoop MapReduce实战手册本章将学习以下内容: 在你的机器上安装Hadoop 写WordCo.....

文章 2017-03-02 来自:开发者社区

【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块

本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验,演讲的内容非常简单易懂并且非常有趣,在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。

问答 2017-02-03 来自:开发者社区

在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务

我在阿里云上搭建了,hadoop/hive官网开源版本的集群,不是使用阿里云提供的E-MapReduce版本,不知道能不能在官方版本的hive中使用阿里云oss作为数据源?如果可以,能否提供一下示例代码。

问答 2016-11-26 来自:开发者社区

ECS搭建hadoop伪分布式出错

如题,环境都搭好了,jps所有节点也都OK,但是在执行jar包的时候就出错了, 求大神帮帮忙啊

文章 2016-10-13 来自:开发者社区

Ganglia+Hadoop+Hbase监控搭建流程

Hadoop集群基本部署完成,接下来就需要有一个监控系统,能及时发现性能瓶颈,给故障排除提供有力依据。监控hadoop集群系统好用的比较少,自身感觉ambari比较好用,但不能监控已有的集群环境,挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控,试用一段时间感觉还不错,监控项比较全面,配置简单,软件包在epel网络源中,使用yum安装方便快捷。Ganglia是一个开源集....

文章 2016-08-16 来自:开发者社区

玩转大数据-如何搭建hadoop集群

看到题目有没有一种高大上的感觉? 毛线,当前是个人、是个公司都在说自己搞大数据,每天没有几个PB的数据入库,每天没有几个TB的分析数据产出敢说自己是大数据? 乘着大数据噱头之风,我们还是要看一下大数据所运用的工具对于我们是否有用,小编之前写项目时一直青睐于mysql,进来发现新的项目mysql已经无法适应,我们目前日数据产生量在10W级别时,mysql的查询速度和稳定性的确出现了问题,借鉴当前分....

文章 2016-07-25 来自:开发者社区

VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

写在前边的话:        最近找了一个云计算开发的工作,本以为来了会直接做一些敲代码,处理数据的活,没想到师父给了我一个课题“基于质量数据的大数据分析”,那么问题来了首先要做的就是搭建这样一个平台,毫无疑问,底层采用hadoop集群,在此之上,进行一些其他组件的安装和二次开发 hadoop伪分布部署参考:点击打开链接 hadoop单机版部署参考:点击打开...

问答 2016-07-21 来自:开发者社区

自己搭建的hadoop集群要迁移到EMR,数据怎么导上来呢?

搭建的hadoop集群,需要切换到EMR,原有集群上的数据怎么传输上来呢?

文章 2016-07-18 来自:开发者社区

单点搭建HADOOP系统

单点搭建HADOOP系统 安装JDK 1.下载jdk1.6.0_20;(下载文件为jdk-6u20-linux-i586.bin); 2.进入到jdk文件所在目录,由于运行bin文件是需要权限的,所以运行如下命令:chmod u+x jdk-6u20-linux-i586.bin,使得当前用户有权限执行该文件; 3.在jdk文件所在目录下执行:sudo ./jdk-6u20-linux-...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注