尘事随缘的博客
尘事随缘 · 共 6 篇文章
记一次系统HBase过滤器升级的异常
在我们的系统中,Hbase的RowKey是用二进制写入的,所以基于RowKey的正则表达式没有用处,因此自定义了一个比较器,用于匹配指定位置行健的内容。开发、测试阶段都没问题,上生产环境,运行后总是提示类找不到的错误。仔细确认了打的jar包的确放在Hbase的lib目录下的,为什么报这个错误呢? 重启集群、无效 把jar包删除了无效,重新加入 无效 难道真的见鬼了? 忽然发现一个问题,生产环境我们中启动Hbase的账户是hadoop账户,上传文件使用的是root账户,是不是hadoop账户找不到root账户传入的jar包呢? 于是乎执行 chown、chgrp 再重启集群,问题解决。
2015-09-16 16:12 · Hbase系列 · 评论(0)
hbase故障分析之-regionserver突然宕机启动后也是宕机
近日发现测试环境中的RegionServer总是突然宕机,重新启动节点依然无效,无耐看了半天日志发现如下信息: 2015-02-13 05:40:04,325 WARN [regionserver60020] zookeeper.RecoverableZooKeeper: Node /hbase/rs/slave2,60020,1423777199540 already deleted, retry=false 2015-02-13 05:40:04,325 WARN [regionserver60020] regionserver.HRegionServer: Failed deletin…
2015-02-13 14:46 · Hbase系列 · 评论(0)
HBase工程师线上工作经验总结----HBase常见问题及分析
阅读本文可以带着下面问题: 1.HBase遇到问题,可以从几方面解决问题? 2.HBase个别请求为什么很慢?你认为是什么原因? 3.客户端读写请求为什么大量出错?该从哪方面来分析? 4.大量服务端exception,一般原因是什么? 5.系统越来越慢的原因是什么? 6.Hbase数据写进去,为什么会没有了,可能的原因是什么? 7. regionserver发生abort,遇到最多是什么情况? 8.从哪些方面可以判断HBase集群是否健康? 9.为了加强HBase的安全性,你会采取哪些措施? 在Tcon分布式系统测试实践的分享中,笔者提到了测试人员参与线上问题分析的必要性: 1、测试工作中的…
2014-12-29 09:49 · Hbase系列 · 评论(0)
创建HBASE数据库时候不得不注意的几处设置
系统相关属性设置: HTableDescriptor tableDesc = new HTableDescriptor("test"); //日志flush的时候是同步写,还是异步写 tableDesc.setDurability(Durability.SYNC_WAL); //MemStore大小 tableDesc.setMemStoreFlushSize(256 1024 1024); HColumnDescriptor colDesc = new HColumnDescriptor("f"); //块缓存,保存着每个HFile数据块的startKey colDesc.setBlock…
2014-12-29 09:47 · Hbase系列 · 评论(0)
Hbase Client API 介绍
Hbase API 常用类应用 网上Hbase的介绍有很多,案例也不少。自己写了个Demo,进行一些简单的总结。 HBase 常用类介绍。 JAVA API 和 HBase数据库模型之间的关系 JAVA 类 Hbase 数据模型 HBaseAdmin 数据库(database) HBaseConfiguration HTable 表(table) HTableDescriptor 列族(Column Family) Put 行列操作 Get Scanner 下面说说JAVA API 提供的这些类的功能。和他们之间有什么样的联系。 1.HBaseConfiguration 关系:org.apa…
2014-12-24 16:06 · Hbase系列 · 评论(0)
Hbase原理、基本概念、基本架构
概述 HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。 与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。 Hbase表的特点 大:一个表可以有数十亿行,上百万列; 无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列; 面向列:面向列(族)的存储和…
2014-12-24 15:48 · Hbase系列 · 评论(0)