`
leongfans
  • 浏览: 85249 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

HBase中Table的Region数不一致的解决方案

阅读更多

最近在给HBase做性能测试(0.89版本),发现了一个异常现象:HBase中实际加载的Region数量要远远大于对应的Table中的Region数量,此时已经无法通过disable关闭对应的表。

 

一开始系统通过重启HBase来解决这个问题。但是重启以后,发现加载的Region数量仍然远远大于Table中的实际Region数(也远远大于HDFS中对应的目录数量),所以一个是.META.表出现了不一致的现象。

 

搜索maillist,发现以下一段话

 

Use the bin/add_table.rb tool. It will recreate all the .META. entries
based on what's on HDFS.

 

执行

./hbase org.jruby.Main add_table.rb /hbase/TableName

重启HBase以后,发现加载的Region数量已经和实际的Region数量一致了

这时候disable也可以生效了

 

Bug产生的原因应该是split和compact操作导致.META.表中的数据不一致,maillist中提到这个bug在0.90版本中已经修复,未验证

 

BTW:http://search-hadoop.com/不错,可以搜索hadoop相关的maillist,关键是可以访问,fuck GFW!

0
0
分享到:
评论

相关推荐

    Hbase中文文档

    目录 序 1. 入门 1.1. 介绍 1.2. 快速开始 2. 配置 2.1. Java 2.2. 操作系统 ...5.1. Table webtable 5.2. ColumnFamily anchor 5.3. ColumnFamily contents 8.1. Operation To Permission Mapping

    Apache HBase Primer

    网上的HBase书都比较老了,这是目前为止最新版本的HBase电子书。 Part I: Core Concepts Chapter 1: Fundamental Characteristics Chapter 2: Apache HBase and HDFS Chapter 3: Application Characteristics...

    HBase.Design.Patterns

    you will get a better idea of typical storage patterns, application design templates, HBase explorer in multiple scenarios with minimum effort, and reading data from multiple region servers. ...

    HBase二级索引实现方案

    本方案主要参照了华为公布的HBase二级索引实现方案。为每个DataTable创建一个与之对应的IndexTable,通过各种途径,保证IndexTable Region与DataTable Region一一对应,并且存储在同一个RegionServer上。

    HBase Succinctly

    HBase Table Design Connecting with the Java API Connecting with Python and Thrift Connecting with .NET and Stargate The Architecture of HBase Inside the Region Server Monitoring and Administering ...

    hbase-manager安装包,已编译

    部署网站... 请求热点监控:集成hbase-hbtop的功能,图表展示RegionServer/Region/namespace/table的实时请求量 更多功能:......

    HBase2.0在360的技术改进与应用实践

    的HBase集群共有1885个Table以及719703个Region,而单表最大的Region数为74788。此外,从业务层面来看,360的HBase集群每秒钟大约需要响应3百万次请求。通过这些数据也能够说明,目前对于360而言,无论是HBase集群...

    人工智能-项目实践-搜索引擎-高可用的分布式搜索引擎

    高可用的分布式搜索引擎 Katta 是一个灵感来源于 Hive 和 ...基于 Index 和 Shard 机制又非常类似于 Hbase 对 Table 和 Region 的管理; 内部 ZooKeeper 的选举机制,事件机制(Master-Slave)都是 Hbase 的灵魂;

    大数据与人工智能-fy.docx

    关于Hbase说法不正确的是 [单选题] A.Table中包含多个region B.region会随着数据的增大而分裂 C.region分裂时,数据不能访问 D.行的一次读写不是原子操作(正确答案) 答案解析:是原子操作 大数据与人工智能-fy全文...

Global site tag (gtag.js) - Google Analytics