Cloudera Manager和CDH4.1的安装

;characterEncoding=UTF-8”,它默认用的就是utf8。 二、新增Impala服务 进入cloudera manager管理界面,新增impala服务,点击impala,点击配置,可看到如下界面: 3png.png (100.54 KB, 下载 ...
来自: 云栖社区 > 论坛 作者: gqinghe 浏览:199 回复:0

使用 Spring、Elasticsearch 及 Logstash 构建企业级数据搜索和分析平台

)。Elasticsearch 中每个索引可以划分成多个分片,而且有多个副本。Elasticsearch 会自动管理集群中节点的分片和副本,对开发人员是透明的。 二、Elasticsearch 基本用法 Elasticsearch 的安装比较简单,只需要下载之后解压 ...
来自: 云栖社区 > 论坛 作者: 枫洲林绿 浏览:103 回复:1

如何简单解释 MapReduce 算法

MapReduce算法来管理大数据的开源方式。现今MapReduce是主流。 所以通常来说,每当你听到“大数据”,那也许意味着Hadoop被用来存储数据,也通常意味着数据的抽取和检索是用的MapReduce。 拆分 MapReduce合并了两种 ...
来自: 云栖社区 > 论坛 作者: 飞天小珠 浏览:192 回复:2

hadoop2在hdfs与mapreduce的改变介绍

接触过hadoop1.x很想知道hadoop2.x做了哪些改变:我们带着下面问题来阅读回帖中的内容 Block Storage Service 的组成? hadoop1HDFS架构只允许存在一个namespace,一个Namenode管理这个 ...
来自: 云栖社区 > 论坛 作者: 洋桐 浏览:207 回复:1

初识MapReduce需要解决的问题及通过maven编写MapReduce

工程并加入hadoop依赖 我们选用maven来管理工程,用自己喜爱的m2eclipse插件在eclipse里创建或在命令行里创建一个工程。在pom.xml里加入hadoop依赖。 <dependency> <groupId>org ...
来自: 云栖社区 > 论坛 作者: 肉丸小白兔 浏览:230 回复:0

Hadoop源代码分析:包mapreduce.lib.input及包mapreduce.lib.map(6

run。其中,setup和cleanup用于管理Mapper生命周期中的资源,setup在完成Mapper构造,即将开始执行map动作前调用,cleanup则在所有的map动作完成后被调用。方法map用于对一次输入的key/value对进行map动作。run ...
来自: 云栖社区 > 论坛 作者: 洋桐 浏览:245 回复:0

Hadoop MapReduce统计结果直接输出hbase

_22 export HBASE_OPTS="-XX:+UseConcMarkSweepGC" export HBASE_MANAGES_ZK=true 复制代码 上面最后一项一定要打开。设置zookeeper管理hbase。 最后配置 ...
来自: 云栖社区 > 论坛 作者: SHENGSHENGXIU 浏览:133 回复:0

美团云分布式块存储系统Ursa的设计与实现

数据保存在Redis当中,余下的集群管理功能由Manager完成。Master == Manager + MySQL + Redis,其中MySQL使用双机主从配置,Redis使用官方提供的标准cluster功能。 3.2 CAP取舍 C、A、P分别代表 ...
来自: 云栖社区 > 论坛 作者: 黄老邪 浏览:118 回复:1

系统架构领域的学习材料汇总

,同时规定了数据交换的message passing机制,从根本上防止了修改隔离数据的可能。再加上对application的安全性检查,从而提供一个可控、可管理的操作系统。由于.NetCLR的持续优化以及硬件的发展,加了这些检查后的Singularity在 ...
来自: 云栖社区 > 论坛 作者: 康康66 浏览:257 回复:2

Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程

://svn.apache.org/repos/asf/hive/trunk/ 下载hive源码(源码管理、获取网络源码工具:TortoiseSVN使用手册) cd hive-trunk mvn clean install -DskipTests ...
来自: 云栖社区 > 论坛 作者: ada_jiaran 浏览:159 回复:3

BookKeeper设计介绍及其在Hadoop2.0 Namenode HA方案中的使用分析

JournalManager接口,负责管理EditLog的可靠存取。它的实现包括QJM(QuorumJournalManager)和BKJM(BookKeeperJournalManager)。 写日志 对于hdfs而言,主节点写的每一个日志对象为BK的entry ...
来自: 云栖社区 > 论坛 作者: annazy 浏览:96 回复:0

Hive整合HBase——通过Hive读/写 HBase中的表

的搭建,请参考“基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建” 2、本文中Hadoop、HBase、Hive安装路径 1.jpg (61.17 KB, 下载次数: 6) 下载附件   ...
来自: 云栖社区 > 论坛 作者: sum_mer 浏览:485 回复:5

Yarn中的四种状态机介绍

问题导读: 1.什么是状态机? 2. Yarn的资源管理模块ResourceManager有哪四种状态机? 3.四种状态机的作用是什么? 3.Yarn中对Container了解多少? 1.png (173.58 KB, 下载次数: 5) 下载附件  保存到相册 2014-10-7 22:53 上传 ...
来自: 云栖社区 > 论坛 作者: 我最爱美丽 浏览:199 回复:0

hadoop2中YARN Container相关问题及Container介绍

; (2) 运行各类任务的Container:这是由ApplicationMaster向ResourceManager申请的,并由ApplicationMaster与NodeManager通信以启动之。 以上两类Container可能在任意节点上,它们的位置通常而言是随机的,即ApplicationMaster可能与它管理的任务运行在一个节点上。 更详细内容可查看下面内容: ...
来自: 云栖社区 > 论坛 作者: shmily93 浏览:287 回复:1

从RDD到输出结果,探究Spark的计算过程

将任务序列化并提交到Executor。TaskSetManager负责对一个阶段的任务进行管理,其中会根据任务的数据本地性选择优先提交的任务。TaskSchedulerImpl负责对TaskSet进行调度,通过调度策略确定TaskSet优先级。同时是一个 ...
来自: 云栖社区 > 论坛 作者: 冷冰冰的猴哥 浏览:154 回复:2

SparkSession使用方法介绍【spark2.0

来使用Spark其他的功能。每一个JVM都有一个对应的SparkContext,driver program通过SparkContext连接到集群管理器来实现对集群中任务的控制。Spark配置参数的设置以及对SQLContext、HiveContext和 ...
来自: 云栖社区 > 论坛 作者: 咖啡与眼泪 浏览:1168 回复:0

HBase Memstore配置

检查数据是否在memstore里面,否则就去storefile读取,然后返回给客户端。. What to Care about     为了更好的使用hbase,开发人员和管理人员必须了解memstore是什么以及它如何工作,因为: 有 ...
来自: 云栖社区 > 论坛 作者: fengfengy 浏览:215 回复:2

Hadoop-2.6.0伪分布--安装配置hbase

设置为true: export HBASE_MANAGES_ZK=true 此配置信息,设置由hbase自己管理zookeeper,不需要单独的zookeeper。 ...
来自: 云栖社区 > 论坛 作者: 木鱼翻身 浏览:246 回复:1

HBase异常:java.io.IOException: Connection reset by peer解决办法汇总

reset by peer 是因为对方断链引起,链接断了肯定数据收不全。 注意:mina是通过事件来管理的,它不会一次把所有数据收全。 2.我今天也碰到此现这个错误,不过我这边是在作压力测试的时候出现的,如果机子起动二十个终端去连服务器,感觉终端不知道什么原因就把该连接断开了,所以导致服务端出现很多的connect reset:by peer,但我如我起十个终端的话,它就是OK的 ...
来自: 云栖社区 > 论坛 作者: 陶鸥 浏览:481 回复:1

让你明白hbase二级索引核心思想

问题导读 1.二级索引的核心思想是什么? 2.二级索引由谁来管理? 3.在主表中插入某条数据后,hbase如何将索引列写到索引表中去? 4.scan查询的时候,coprocessor钩子的作用是什么? 5.在split的时候,索引表在什么时候对数据划分 ...
来自: 云栖社区 > 论坛 作者: ldc2014 浏览:1678 回复:1
共有3046页 跳转至:GO