有个问题想请教大家,hbase region server 如果down了,按照hbase 默认的设置,比如zookeeper的180秒的超时设置,那是不是可能在3分钟内这个region server的数据都处于无法访问的状态?hbase从感知到region server挂掉到恢复是不是在分钟级别

有个问题想请教大家, hbase region server 如果down了,按照 hbase 默认的设置,比如zookeeper的180秒的超时设置,那是不是可能在3分钟内这个 region server的数据都处于无法访问的状态? hbase从感知到 region server挂掉到恢复是不是在分钟级别 ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:9 回复:1

hbase region预分片数量如何定?

hbase region预分片数量如何定? ...
来自: 开发者社区 > 问答 作者: hbase小助手 浏览:21 回复:0

关于HBase Region的一些基本概念

null最近发现 HBase官方文档里面关于 region的内容写的很清晰,所以尝试把其中和 region的基本概念有关的内容做了翻译和简单的补充。关于 Region的split/compact等操作的相关内容网上已经很多了,所以这些方面本文不涉及,只对 ...
来自: 开发者社区 > 博客 作者: _陆豪 浏览:30 回复:0
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

hbase region的RIT问题

    hbase遇到了经典的 Region is not online错误,然后开始使用 hbase hbck -repaire进行修复,但是修复的时候,遇到错误: failed to move out of transition ...
来自: 开发者社区 > 论坛 作者: zaowei 浏览:165 回复:2

自动恢复被挂掉的hbase region server,你有什么办法

最近老遇到 hbase的regionserver自动挂掉的情况 日志总是看不出什么原因 不得已弄了个定时任务,任务的脚本类似是: pssh -H "bluejoe1 bluejoe2..." "/usr/local/ hbase ...
来自: 开发者社区 > 论坛 作者: 国林地板1 浏览:193 回复:1

求助!!! 关于Hbase region

            region 是怎么分布的?是在单节点么?还是分布式分布?如果是分布式分布,怎么会在写数据的时候造成热点呢? ...
来自: 开发者社区 > 论坛 作者: 珀尔石榴 浏览:229 回复:9

数据批量导入,导致Hbase region 100G,未进行分裂是什么原因

版本: Hbase 2.0批量往 hbase进行数据导入,导致部分 region大小超过100G,而集群配置最大是10G,(之前是200G,自动分裂到了100多G)。具体是什么原因呢?集群基于CDH搭建,没有其他操作,处于空闲状态,负载也比较低,是什么原因 ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:9 回复:1

hbase region 重叠问题

发现表下面有 region重叠的问题,请问这个重叠问题是怎么产生的? ERROR: ( region tableName,10055595255,1444297769057.d4fa60af955ec4119f5a991fd5c3d78b ...
来自: 开发者社区 > 论坛 作者: 繁华世家 浏览:249 回复:1

HBase region个数如何划分?

最好是你的regionserver的倍数 ,会自动的分配到每个服务器 ,注意 的rowkey要分散 ...
来自: 开发者社区 > 问答 作者: hbase小助手 浏览:7 回复:0

hbase数据删除不释放region解决办法

问题导读: 1.删除 hbase数据有几种方法? 2.删除数据, region不释放,你认为该如何解决? 以下是记录公司在删除历史数据的这个过程: 背景:      公司需要需要一套运营平台,服务器3台(hadoop ...
来自: 开发者社区 > 论坛 作者: happyy.q 浏览:125 回复:9

HBase写入数据报错“There is a hole in the region chain”

有个问题想请教大家, hbase region server 如果down了,按照 hbase 默认的设置,比如zookeeper的180秒的超时设置,那是不是可能在3分钟内这个 region server的数据都处于无法访问的状态? hbase从感知到 region server挂掉到恢复是不是在分钟级别 ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:5 回复:1

读者来信 | 刚搭完HBase集群,Phoenix一启动,HBase就全崩了,是什么原因?(已解决)

. Ensure that phoenix.jar is put on the classpath of HBase in every region server: org.apache.hadoop. hbase.exceptions ...
来自: 开发者社区 > 博客 作者: hope+ 浏览:43 回复:0

HBase在搜狐内容推荐引擎系统中的应用

中间件,管理集群运行时各节点状态,保证分布式事务的一致性。 通过使用HDFS和ZooKeeper, HBase要达到管理节点Master和服务节点 Region Server运行时无状态的设计理念,服务节点 Region Server中管理的MemStore和 ...
来自: 开发者社区 > 论坛 作者: 哆啦囍楽猪 浏览:3381 回复:1

HBase 2.0.0 META 数据修复工具

RIT( Regions in Transition)问题。查看 hbase web ui于是通过hbck命令查看一下集群状态,果然好多inconsistency ... ERROR: Region not deployed on any region ...
来自: 开发者社区 > 博客 作者: 业余布道师 浏览:146 回复:0

HBase-0.98.0与Phoenix-4.0.0分布式安装指导

-core-4.0.0-incubating.jar复制到所有 HBase region server的的CLASSPATH中,比如 HBase的lib目录 6) 重启 HBase集群 运行phoenix也非常简单,命令格式为: sqlline.py ...
来自: 开发者社区 > 论坛 作者: xianzhu 浏览:201 回复:7

淘宝搜索分析系统Pora2的应用之HBase高并发读写性能优化

, 下载次数: 2) 下载附件  保存到相册 2014-6-8 08:46 上传 注:个人觉得 hbase的这个新feature应用场景很有限,实在不应该作为一个默认开启的配置,建议可以通过配置直接禁用。​ ​不间断的频繁scan对 region ...
来自: 开发者社区 > 论坛 作者: jeffmk 浏览:183 回复:3

HBase 利用Coprocessor实现聚合函数

());      } } 复制代码 导出jar包上传到 HBase Region节点的lib下。然后配置RegionServer的Coprocessor。在服务端 hbase-site.xml中,增加 <property ...
来自: 开发者社区 > 论坛 作者: rheadong 浏览:104 回复:8

CDH5.3.3安装Hbase后bad health

initialzation failed. Canary did not run HBase region health: 0 unhealthy regions 2、the health test result for HBASE_MASTER ...
来自: 开发者社区 > 论坛 作者: liqing_yoyo 浏览:301 回复:5

hadoop hbase集群断电数据块被破坏无法启动

/WAL/下面记录的log都回放一遍,合并到每个 region中,回放过程中如果有error发生,这个参数又是false,那么exception就会向外层输出,回放失败。但是很遗憾,将此参数修改后 hbase集群仍然无法正常启动。然后就琢磨其他原因,先观察 ...
来自: 开发者社区 > 博客 作者: 反向一觉 浏览:31 回复:0

hbase有哪些可视化工具,图形界面管理工具

提供了统一的用户界面和添加、删除节点命令来支持 HBase 集群的可伸缩性。 另外, HBase Master 多结点功能的实现,提供并保证了 HBase 在 BigInsights 中的高可用性。 HBase 服务状态监控 HBase Master 服务状态监控及启停 HBase Region Servers 服务状态监控及启停 ...
来自: 开发者社区 > 论坛 作者: yiyi429 浏览:303 回复:5

HBase在内容推荐引擎系统中的应用

分布式消息中间件,管理集群运行时各节点状态,保证分布式事务的一致性。通过使用HDFS和ZooKeeper, HBase要达到管理节点Master和服务节点 Region Server运行时无状态的设计理念,服务节点 Region Server中管理的 ...
来自: 开发者社区 > 博客 作者: skyme 浏览:1714 回复:0

【精品问答合集】Hbase热门问答

/450103直接读HFile与 通过 hbase读,它们性能提升多少https://yq.aliyun.com/ask/455599 HBase region个数如何划分?https://yq.aliyun.com/ask/455593 ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:41 回复:0

Phoenix通过sql语句更新操作hbase

all HBase region server and master and remove any previous version. An easy way to do this is to copy it into the HBase lib ...
来自: 开发者社区 > 博客 作者: 小金子 浏览:39 回复:0

深入HBase架构解析(二)

:《Apache HBase Region Splitting and Merging》。HRegion负载均衡在HRegion Split后,两个新的HRegion最初会和之前的父HRegion在相同的HRegionServer上,出于负载均衡 ...
来自: 开发者社区 > 博客 作者: 雪地脚印 浏览:1337 回复:0

支撑上万并发毫秒级事务响应!银行大型机负载下移至GemFire+HBase大数据平台的创新(一)

。这里面得益于 GemFire 和 HBase早已经做了集成,GemFire CacheServer可以很轻松地从 HBase Region中读写数据放入到自己的 Region中。应用查询策略:全时间段查询同步查询 ...
来自: 开发者社区 > 博客 作者: 努力酱 浏览:519 回复:0

深入HBase的组件细节

;   Some HBase housekeeping concepts     Region operations     Capacity planning     List of available HBase distributions     Prerequisites for HBase ...
来自: 开发者社区 > 论坛 作者: 系围巾的雪人 浏览:159 回复:9

HBase flush&split&compact

7996e4c362a3ab818e84eab2ffc0df9.jpeg)** HBase region split:**![ HBase_split_jpeg](https://yqfile.alicdn.com/f0e6cf53af8662 ...
来自: 开发者社区 > 博客 作者: 寒沙牧 浏览:579 回复:0

查看实时热点Region - 云数据库 HBase

本文介绍通过“实时TopRegion“诊断工具定位热点 Region的问题源 ...

Phoenix Quick Start

.apache.org/dyn/closer.cgi/incubator/phoenix/。添加 phoenix-core-[version]-incubating.jar 到 HBase region server 的 classpath 中,或者直接将 ...
来自: 开发者社区 > 博客 作者: 雨客 浏览:1296 回复:0

SQL on Hadoop,hadoop查询性能优化

原理是将一个对于 HBase client来说比较复杂的查询转换成一系列 Region Scan,结合coprocessor和custom filter在多台 Region Server上进行并行查询,汇总各个Scan结果。种种迹象表明,Phoenix应该不是个 ...
来自: 开发者社区 > 论坛 作者: 小丽宝贝 浏览:161 回复:1

hadoop未来发展方向:SQL On Hadoop将会很受欢迎,待解决问题是什么

。 Phoenix Salesforce开源的基于 HBase的SQL查询系统。基本原理是将一个对于 HBase client来说比较复杂的查询转换成一系列 Region Scan,结合coprocessor和custom  filter在多台 ...
来自: 开发者社区 > 论坛 作者: sunny8374 浏览:225 回复:0

about云每日一读汇总(第十八篇2017.01.05

了kerberos的集群如何添加新主机 http://www.aboutyun.com/forum.php?mod=viewthread&tid=20949 hbase region的RIT问题 http://www.aboutyun.com ...
来自: 开发者社区 > 论坛 作者: 庄河 浏览:440 回复:5

Hbase报错: There is a hole in the region chain between and . You need to create a new .regioninfo and region dir in hdfs to plug the hole.

ERROR: There is a hole in the region chain between and . You need to create a new .regioninfo and region dir in hdfs to plug the hole.出现上述报错怎么办? ...
来自: 开发者社区 > 问答 作者: hbase小助手 浏览:13 回复:0

各位大佬好,我有个问题想请教一下:cdh5.11-hbase1.2 这个版本的hbase,出现了region 下的store file 全部丢失的问题,且hbck 恢复不了,在写入的时候已经确认写入了,会不会是手动marjor_compact导致的?或者有遇到相似问题的怎么恢复啊?

各位大佬好,我有个问题想请教一下:cdh5.11- hbase1.2 这个版本的 hbase,出现了 region 下的store file 全部丢失的问题,且hbck 恢复不了,在写入的时候已经确认写入了,会不会是手动marjor_compact导致的?或者 ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:6 回复:0

深入解读HBase2.0新功能之高可用读Region Replica

基于时间线一致的高可用读(Timeline-consistent High Available Reads),又称 Region replica,为 HBase带来了高可用读的能力。本文主要介绍 region replica这个功能设计的背景,技术细节和使用 ...
来自: 开发者社区 > 博客 作者: 正研 浏览:1941 回复:0

HBase原理–所有Region切分的细节都在这里了

Region自动切分是 HBase能够拥有良好扩张性的最重要因素之一,也必然是所有分布式系统追求无限扩展性的一副良药。 HBase系统中 Region自动切分是如何实现的?这里面涉及很多知识点,比如 Region切分的触发条件是什么? Region切分的切分点在 ...
来自: 开发者社区 > 博客 作者: 行者武松 浏览:234 回复:0

HBase源码分析之Region定位

        我们知道, HBase是一个基于RowKey进行检索的分布式数据库。它按照行的方向将表中的数据切分成一个个 Region,而每个 Region都会存在一个起始行StartKey和一个终止行 ...
来自: 开发者社区 > 博客 作者: 柏辰爸爸 浏览:26 回复:0

HBase原理 – 所有Region切分的细节都在这里了

Region自动切分是 HBase能够拥有良好扩张性的最重要因素之一,也必然是所有分布式系统追求无限扩展性的一副良药。 HBase系统中 Region自动切分是如何实现的?这里面涉及很多知识点,比如 Region切分的触发条件是什么? Region切分的切分点在 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:96 回复:0

hbase的Region分裂代码分析

;    2.check到该 region下有store大于阀值,这个阀值和 hbase.hregion.max.filesize和该 region所在的RegionServer上和该 Region属于同一表的 region个数 ...
来自: 开发者社区 > 博客 作者: @dailidong@ 浏览:29 回复:0

读者来信 | 如果你家HBase集群Region太多请点进来看看,这个问题你可能会遇到

.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for / hbase/ region-in-transition ...
来自: 开发者社区 > 博客 作者: hope+ 浏览:43 回复:0

HBase架构解析

<em>Hbase</em>组件  客户端Client 整个<em>HBase</em>集群的入口 使用<em>HBase</em> RPC机制与HMaster和HRegionserver通信 与HMaster通信进行管理类的操作 与HRegionserver通信进行读写类操作 包含访问<em>...

Spark 读取 Hbase 优化 --手动划分 region 提高并行数

一.<em>Hbase</em> 的 <em>region</em> 我们先简单介绍下 <em>Hbase</em> 的 架构和 <em>region</em>: 从物理集群的角度看,<em>Hbase</em> 集群中,由一个 Hmaster 管理多个 HRegionServer,其中每个 HR...

HBase运维基础——元数据逆向修复原理

其<em>region</em>-two有reference hfile文件名格式为:/<em>hbase</em>/data/default/table/<em>region</em>-two/family/hfile.<em>region</em>-one 通常无效引用就是 <em>regio...

HBase数据模型(2)

<em>HBase</em>中的表数据会被分拆很多个<em>Region</em>,<em>Region</em>可以动态扩展并且<em>HBase</em>保证<em>Region</em>的负载均衡。<em>Region</em>实际上是行键排序后的按则分割的连续的存储空间。<em>Regio...

HBase工具之监控Region的可用和读写延时状况

1、介绍<em>HBase</em>集群上<em>region</em>数目由于业务驱动而越来越多,由于服务器本身,网络以及<em>hbase</em>内部的一些不确定性bug等因素使得这些<em>region</em>可能面临着不可用或响应延时情况。通过对<em>region</em>的监控,也...

HBase工具之监控Region的可用和读写延时状况

1、介绍<em>HBase</em>集群上<em>region</em>数目由于业务驱动而越来越多,由于服务器本身,网络以及<em>hbase</em>内部的一些不确定性bug等因素使得这些<em>region</em>可能面临着不可用或响应延时情况。通过对<em>region</em>的监控,也...

Apache HBase 2015 年发展回顾与未来展望

如 图所示,在 <em>HBase</em> 中,Table 被横向划分为 <em>Region</em>,它是一段数据的管理者,<em>Region</em> 被分发到 RegionServer 上进行管理,一个 <em>Region</em> 只被一个 RegionServer 管理,它的数据...

HBase系统架构

hbase.hregion.memstore.flush.size(默认值是128M)和<em>hbase</em>.<em>region</em>.memstore.block.multiplier(默 认值为2)的乘积确定,即 blockingMemStoreSize默认值为256M;如果步骤...

看图理解HBase

一、<em>HBase</em>生态系统 二、<em>HBase</em>架构图 三、<em>HBase</em>和Hadoop版本矩阵 四、<em>HBase</em>组件 五、行列存储 六、<em>Region</em> Server 七、scale out/up 水平扩容 垂直扩容 八、co...

HBase MetaStore和Compaction剖析

客户端读写数据是先从<em>HBase</em> Master获取RegionServer的元数据信息,比如<em>Region</em>地址信息。在执行数据写操作时,<em>HBase</em>会先写MetaStore,为什么会写到MetaStore。本篇博客将为读者剖析<em>HBase</e...
< 1 2 3 4 ... 185 >
共有185页 跳转至: GO
产品推荐
云数据库 HBase 版 表格存储 云服务器 商标 物联网无线连接服务 SSL证书 短信服务
这些文档可能帮助您
什么是云数据库Redis版 MySQL功能概览 什么是微服务引擎MSE 网关功能说明 微服务治理中心入门概述 创建数据库和账号

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折