kok电子竞技

1、Apache HBase徐培成是分布式面向列的数据库，构建在hadoop之上，类似于google的big table,对海量结构化数据的快速随机访问.是hadoop生态系统的一部分。提供随机实时读写。HBase简介master-slave主从结构table从竖直方向进行切割，分成若干个区域。由每个regionserver进行处理。master server(ms)a.负责指派region给rs.通过zk获得task的帮助b.处理跨rs的region的负载均衡问题。c.从繁忙服务到空闲服务器之间的数据转载。d.通过裁定负载均衡判断集群的状态。HBase架构4.region被切割的表，跨rs。4.

2、region server(rs)和client通信处理数据操作处理它下面的所有region的读写请求。通过阀值决定region size.HBase架构下载hbase-1.2.3.tar.gztar环境变量HBASE_HOME=/soft/hbasePATH=.:/soft/hbase/binHBase安装localconf/hbase-site.xmlhbase.rootdir=file:/home/ubuntu/hbase伪分布conf/hbase-site.xmlhbase.rootdir=file:/home/ubuntu/hbasedfs.replication=1HBase配置f

3、ull distributedconf/hbase-site.xmlhbase.rootdir=hdfs:/s100:8020/hbasedfs.replication=3hbase.cluster.distributed=perty.clientPort=2181hbase.zookeeper.quorum=s101,s102,perty.dataDir=/hbase/zkHBase配置full distributedconf/regionservers.xmls101s102s103分发hbase配

4、置HBase配置启动$start-dfs.sh/只需要hdfs支持,$start-hbase.sh/启动集群$stop-hbase.sh/停止集群$hbase shell/进入hbase shellHBase启动启动 /hmaster /hregionserverHBase webUI启动$hbase shell/进入shell$hbasehelp/查看帮助$hbasehelp comand/查看命令帮助$hbasecreate t1,NAME=cf1/创建表$hbasedelete .$hbaseget .$hbasescan .$hbasedisable t1$hbasedrop t1HB

5、ase shell操作HBase TTL-原生扫描HBaseConfiguration/加载hbase-site.xmlConfiguration conf = HBaseConfiguration.create();conn = ConnectionFactory.createConnection(conf);admin = conn.getAdmi();conn.getTable(TableName.valueOf(t1);HBase Client APIHbase和HadoopHA集成配置HBASE_CLASSPATH/soft/hbase/conf/hbase-env.shexport

6、 HBASE_CLASSPATH=$HBASE_CLASSPATH:/soft/hadoop/etc/hadoop创建hdfs-site.xml符号连接$ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/hbase/conf/hdfs-site.xmlHBase与Hadoop HA集成Hbase和HadoopHA集成修改hbase.rootdir的目录/soft/hbase/conf/hbase-site.xmlhbase.rootdir hdfs:/mycluster/hbase将以上步骤分发处理。HBase与Hadoop HA集成见备注。H

7、Base二次索引HBase的RowKey设计原则rowkey长度原则rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实际应用中一般为10-100bytes，以byte 形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。HBase RowKey设计原则HBase的RowKey设计原则rowkey散列原则如果rowkey按照时间戳的方式递增，不要将时间放在二进制码的前面，建议将rowkey的高位采用散列字段处理，由程序随机生成，低位放时间字段，这样将提高数

8、据均衡分布在每个RegionServer，以实现负载均衡的几率。如果不进行散列字段处理，首字段直接使用时间信息，所有的数据都会集中在一个RegionServer上，这样在数据检索的时候负载会集中在个别的RegionServer上，造成热点问题，会降低查询效率。HBase RowKey设计原则HBase的RowKey设计原则rowkey唯一原则必须在设计上保证其唯一性，rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。HBase RowKey设计原则HBase的RowKey设计原则什么是热点

9、HBase中的行是按照rowkey的字典顺序排序的，这种设计优化了scan操作，可以将相关的行以及会被一起读取的行存取在临近位置，便于scan。然而糟糕的rowkey设计是热点的源头。 热点发生在大量的client直接访问集群的一个或极少数个节点（访问可能是读，写或者其他操作）。设计良好的数据访问模式以使集群被充分，均衡的利用。为了避免写热点，设计rowkey使得不同行在同一个region，但是在更多数据情况下，数据应该被写入集群的多个region，而不是一个。HBase RowKey设计原则HBase的RowKey设计原则盐析(salt)这里所说的加盐不是密码学中的加盐，而是在rowkey的

10、前面增加随机数，具体就是给rowkey分配一个随机前缀以使得它和之前的rowkey的开头不同。分配的前缀种类数量应该和你想使用数据分散到不同的region的数量一致。加盐之后的rowkey就会根据随机生成的前缀分散到各个region上，以避免热点。HBase RowKey设计原则HBase的RowKey设计原则哈希哈希会使同一行永远用一个前缀加盐。哈希也可以使负载分散到整个集群，但是读却是可以预测的。使用确定的哈希可以让客户端重构完整的rowkey，可以使用get操作准确获取某一个行数据HBase RowKey设计原则HBase的RowKey设计原则反转第三种防止热点的方法时反转固定长度或者数

11、字格式的rowkey。这样可以使得rowkey中经常改变的部分（最没有意义的部分）放在前面。这样可以有效的随机rowkey，但是牺牲了rowkey的有序性。反转rowkey的例子以手机号为rowkey，可以将手机号反转后的字符串作为rowkey，这样的就避免了以手机号那样比较固定开头导致热点问题HBase RowKey设计原则HBase的RowKey设计原则时间戳反转一个常见的数据处理问题是快速获取数据的最近kok电子竞技本，使用反转的时间戳作为rowkey的一部分对这个问题十分有用，可以用Long.Max_Value - timestamp追加到key的末尾，例如keyreverse_timestamp ,key 的最新值可以通过scan key获得key的第一条记录，因为HBase中rowkey是有序的，第一条记录是最后录入的数据。见注解！HBase RowKey设计原则