HBase基础知识培训

HBase架构原理及基本操作目录：一、HBase定义二、特点三、访问方式四、内部原理五、数据模型六、物理存储七、shell基本操作一、HBase定义：HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。二、特点：1)大：一个表可以有上亿行，上百万列。2)面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。3)稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。4)无模式：每行都有一个可排序的主键和和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以截然不同的列。5)数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳。6)数据类型单一：数据都是字符串，无类型区别。三、访问方式：1)HBaseShell，HBase的命令行工具，最简单的接口，适合HBase管理使用。2)NativeJavaAPI，最常规和高效的访问方式，适合HadoopMapReduceJob并行批处理HBase表数据。3)ThriftGateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据。4)Hive\Pig处理HBase中的数据。四、内部原理：从HBase的架构图上可以看出，HBase中的存储包括HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，本课程统一介绍他们的作用即存储结构。以下是HBase存储架构图:HMaster的作用：1、为Regionserver分配region。2、负责Regionserver的负载均衡。3、发现失效的Regionserver并重新分配其上的region。4、HDFS上的垃圾文件回收。5、处理schema更新请求。HRegionServer作用：1、维护master分配给他的region，处理对这些region的io请求。2、负责切分正在运行过程中变的过大的region。可以看到，client访问hbase上的数据并不需要master参与（寻址访问zookeeper和regionserver，数据读写访问regionserver），master仅仅维护table和region的元数据信息（table的元数据信息保存在zookeeper上），负载很低。HRegionServer存取一个子表时，会创建一个HRegion对象，然后对表的每个列族创建一个Store实例，每个Store都会有一个MemStore和0个或多个StoreFile与之对应，每个StoreFile都会对应一个HFile，HFile就是实际的存储文件。因此，一个HRegion有多少个列族就有多少个Store。一个HRegionServer会有多个HRegion和一个HLog。。HMaster的作用：1、为Regionserver分配region。2、负责Regionserver的负载均衡。3、发现失效的Regionserver并重新分配其上的region。4、HDFS上的垃圾文件回收。5、处理schema更新请求。HRegion：table在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的RegionServer上，但同一个Region是不会拆分到多个server上。Region按大小分隔，每个表一般是只有一个region。随着数据不断插入表，region不断增大，当region的某个列族达到一个阈值（默认256M）时就会分成两个新的region。每个region由以下信息标识：1、表名,startRowkey,创建时间2、由目录表(-ROOT-和.META.)记录该region的endRowkeyHRegion定位：Region被分配给哪个RegionServer是完全动态的，所以需要机制来定位Region具体在哪个regionserver。HRegion：HBase使用三层结构来定位region：1、通过zk里的文件/hbase/rs得到-ROOT-表的位置。-ROOT-表只有一个region。2、通过-ROOT-表查找.META.表的第一个表中相应的region的位置。其实-ROOT-表是.META.表的第一个region；.META.表中的每一个region在-ROOT-表中都是一行记录。3、通过.META.表找到所要的用户表region的位置。用户表中的每个region在.META.表中都是一行记录。Store:每一个region由一个或多个store组成，至少是一个store，hbase会把一起访问的数据放在一个store里面，即为每个ColumnFamily建一个store，如果有几个ColumnFamily，也就有几个Store。一个Store由一个memStore和0或者多个StoreFile组成。HBase以store的大小来判断是否需要切分region。MemStore:memStore是放在内存里的。保存修改的数据即keyValues。当memStore的大小达到一个阀值（默认64MB）时，memStore会被flush到文件，即生成一个快照。目前hbase会有一个线程来负责memStore的flush操作。StoreFile:memStore内存中的数据写到文件后就是StoreFile，StoreFile底层是以HFile的格式保存。五、数据模型：HBase中的每一张表就是所谓的BigTable。BigTable会存储一系列的行记录，行记录有三个基本类型的定义：RowKey、TimeStamp、Column。RowKey：与NoSQL数据库一样，RowKey是用来检索记录的主键。列族：HBase表中的每个列都归属于某个列族。列族是表的Schema的一部分（而列不是），必须在使用表之前定义。列名都以列族作为前缀，例如courses:history、courses:math都属于courses这个列族。时间戳：HBase中通过Row和Columns确定的一个存储单元称为Cell。每个Cell都保存着同一份数据的多个版本。版本通过时间戳来索引，时间戳的类型是64位整型。Cell：Cell是由{rowkey，column(=family+label)，version}唯一确定的单元。Cell中的数据是没有类型的，全部是字节码形式存储。六、物理存储：Table在行的方向上分割为多个HRegion，每个HRegion分散在不同的RegionServer中。每个HRegion由多个Store构成，每个Store由一个memStore和0或多个StoreFile组成，每个Store保存一个ColumnsFamily七、shell基本操作：1、创建一个表create'表名称','列名称1','列名称2','列名称N'示例：create'table1','tab1_id','tab1_add','tab1_info'2、列出所有的表list3、获得表的描述describetable14、查看表是否存在exists'table2'5、删除一个表disable'table1'drop'table1'6、判断表是否为‘enable’表is_enabled'table1'7、获得表的描述describetable18、插入几条记录put'member','scutshuxue','info:age','24'put'member','scutshuxue','info:birthday','1987-06-17'put'member','scutshuxue','info:company','alibaba'put'member','scutshuxue','address:contry','china'put'member','scutshuxue','address:province','zhejiang'put'member','scutshuxue','address:city','hangzhou'9、全表扫描scanscan'member'10、获得一行的所有数据get'member','scutshuxue'11、获得某行，某列族的所有数据get'member','scutshuxue','info12、更新一条记录put（把scutshuxue年龄改为99）put'member','scutshuxue','info:age',9913、删除整行deleteall'member','scutshuxue'