`
尘事随缘
  • 浏览: 9779 次
社区版块
存档分类
最新评论

创建HBASE数据库时候不得不注意的几处设置

 
阅读更多
系统相关属性设置:
HTableDescriptor tableDesc = new HTableDescriptor("test");
//日志flush的时候是同步写,还是异步写
tableDesc.setDurability(Durability.SYNC_WAL);
//MemStore大小 tableDesc.setMemStoreFlushSize(256*1024*1024);
HColumnDescriptor colDesc = new HColumnDescriptor("f");
//块缓存,保存着每个HFile数据块的startKey colDesc.setBlockCacheEnabled(true);
//块的大小,默认值是65536 //加载到内存当中的数据块越小,随机查找性能更好,越大,连续读性能更好
colDesc.setBlocksize(64*1024);
//bloom过滤器,有ROW和ROWCOL,ROWCOL除了过滤ROW还要过滤列族 colDesc.setBloomFilterType(BloomType.ROW);
//写的时候缓存bloom
colDesc.setCacheBloomsOnWrite(true);
//写的时候缓存索引
colDesc.setCacheIndexesOnWrite(true);      
//存储的时候使用压缩算法    
colDesc.setCompressionType(Algorithm.SNAPPY);
//进行compaction的时候使用压缩算法 colDesc.setCompactionCompressionType(Algorithm.SNAPPY);
//压缩内存和存储的数据,区别于Snappy colDesc.setDataBlockEncoding(DataBlockEncoding.PREFIX);
//写入硬盘的时候是否进行编码
colDesc.setEncodeOnDisk(true);
//关闭的时候,是否剔除缓存的块
colDesc.setEvictBlocksOnClose(true);
//是否保存那些已经删除掉的
kv colDesc.setKeepDeletedCells(false);
//让数据块缓存在LRU缓存里面有更高的优先级
colDesc.setInMemory(true);
//最大最小版本 colDesc.setMaxVersions(3);
colDesc.setMinVersions(1);
//集群间复制的时候,如果被设置成REPLICATION_SCOPE_LOCAL就不能被复制了 colDesc.setScope(HConstants.REPLICATION_SCOPE_GLOBAL);
//生存时间 colDesc.setTimeToLive(18000);
tableDesc.addFamily(colDesc);
分享到:
评论

相关推荐

    HBase数据库设计.doc

    5 5)最后,HBase不支持联合查询 5 mapreduce与HBase表配合使用 5 4. HBase的模式Schema设计的一些概念和原则 5 1)模式的创建与更新 5 2)列族的数量 6 3)行键设计RowKey 6 5. HBase的拓扑结构是什么? 7 1)拓扑...

    hbase 数据库

    hbase 安装包 。。

    hbase数据库

    hbase数据库资料,可以供学习者参考,下载使用,pdf文档

    java访问Hbase数据库Demo

    java访问Hbase数据库实用小例子,增删改查创建表,教你轻松解决hbase

    HBASE数据库.docx

    HBASE数据库全文共7页,当前为第1页。HBASE数据库全文共7页,当前为第1页。HBASE数据库 HBASE数据库全文共7页,当前为第1页。 HBASE数据库全文共7页,当前为第1页。 简介 base 是 bigtable 的开源 java 版本。是建立...

    Hbase数据库界面管理器

    可以通过GUI管理Hbase数据库,支持多种过滤器查询。

    C#操控hbase数据库

    C#操作hbase数据库,主要就是封装操作hbase的东西。封装了不分类型。可提升空间很高

    HBase数据库性能调优

    HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储...

    HBase为数据库的web系统

    而HBase作为Hadoop集群的数据库同样在很多场景中大显身手。同样Hadoop集群的稳定性需要得到实时的监控。存储资源、计算资源、网络资源等发生阻塞或者错误需要及时告知集群管理员。本文实现了基于HBase的网站告警系统...

    搭建HBase完全分布式数据库

    一、Hbase数据库概述; 二、Hbase体系结构; 三、Hbase数据库模型; 四、总结Hbase整体特点; 五、案例:搭建Hbase分布式数据库系统

    Hbase数据库2.0.0版本介绍

    Hbase数据库2.0.0版本介绍 Assignment Manager v1 root of many operational headaches ● Redo based on custom “ProcedureV2”-based State Machine ○ Scale/Performance ○ All Master ops recast as Pv2 ...

    Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据).pdf

    Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据)

    HBase数据库

    HBase数据库

    Hbase数据库安装部署.doc

    Hbase数据库安装部署.doc

    java调用hbase实现数据库的增删改查

    java调用hbase数据库,完成对hbase常用api的封装和对hbase数据库的增删改查等操作,经测试绝对可用。

    nosql数据库hbase

    便于学习nosql,hbase的PPT,学习好材料。

    thrift操作Hbase数据库

    代码文件,C#语言编写,通过Thrift2操作Hbase库,对数据进行简单的增、删、改、查处理·。

    Hbase数据库的发展

    Hbase的发展现状及趋势总结,很好的一篇文章哦。。。。

Global site tag (gtag.js) - Google Analytics