HBase编程实践

OpenPassionValueHBase编程实践讲师：董西成博客：dongxicheng.org微信二维码见右。2目录1.Hbase访问方式2.HbaseJava编程3.Hbase多语言编程4.Hbase-MapReduce编程5.总结3Hbase访问方式NativeJavaAPI最常规和高效的访问方式；HBaseShellHBase的命令行工具，最简单的接口，适合HBase管理使用；ThriftGateway利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据；RESTGateway支持REST风格的HttpAPI访问HBase,解除了语言限制；MapReduce直接使用MapReduce作业处理Hbase数据；使用Pig/hive处理Hbase数据。4目录1.Hbase访问方式2.HbaseJava编程3.Hbase多语言编程4.Hbase-MapReduce编程5.总结5HbaseJavaAPI概述Hbase是用Java语言编写的，支持Java编程是自然而然的事情；支持CRUD操作；Create,Read,Update,DeleteJavaAPI包含Hbaseshell支持的所有功能，甚至更多；JavaAPI是访问Hbase最快的方式。6JavaAPI程序设计步骤步骤1：创建一个Configuration对象包含各种配置信息步骤2：构建一个HTable句柄提供Configuration对象提供待访问Table的名称步骤3：执行相应的操作执行put、get、delete、scan等操作步骤4：关闭HTable句柄将内存数据刷新到磁盘上释放各种资源7JavaAPI程序设计步骤步骤1：创建一个Configuration对象Configurationconf=HbaseConfiguration.create();步骤2：构建一个HTable句柄HTabletable=newHTable(conf,tableName);步骤3：执行相应的操作table.getTableName();步骤4：关闭HTable句柄table.close();8示例程序9创建Configuration对象Configuration对象包装了客户端程序连接Hbase服务所需的全部信息；Zookeeper位置Zookeeper连接超时时间HbaseConfiguration.create()内部逻辑从CLASSPATH中加载hbase-default.xml和hbase-site.xml两个文件•hbase-default.xml已经被打包到Hbasejar包中•hbase-site.xml需添加到CLASSPATH中•hbase-site.xml将覆盖hbase-default.xml中的同名属性10创建Configuration对象Hbase如何从CLASSPATH中获取hbase-site.xml信息；修改hadoop脚本，将HbaseCLASSPATH加入在hadoop_install/conf/hadoop-env.sh中设置exportHADOOP_CLASSPATH=$HBASE_HOME/*:$HBASE_HOME/conf:$HADOOP_CLASSPATH检查HadoopCLASSPATHhadoopclasspathhadoopclasspath|grephbase11创建Configuration对象如果已经有一个Configuration文件，可进行如下操作；ConfigurationnewConf=Configuration.create(existingConf);用户自定义的配置文件将在已有配置文件之后加载将覆盖hbase-default.xml和hbase-site.xml中的配置可单独覆盖某一个或多个参数值Configurationconf=HbaseConfiguration.create();conf.set(hbase.zookeeper.quorum,node1,node2);通常不推荐这么做！12创建HTable句柄org.apache.hadoop.hbase.client.HTable一个table对应一个HTable句柄提供了CRUD操作设计简单、使用方便提供行级事务不支持多行事务或者表级别的事务严格的行一致性并发读、顺序写13创建HTable句柄创建HTable句柄代价很大扫描.META.表等；创建一次，以后尽可能复用；如果需要创建多个Htable句柄，使用HTablePool；HTable并非线程安全的一个线程创建一个即可Htable支持CRUD批处理非线程安全，仅是为了提高性能14向HBase写入数据步骤1：创建一个Put对象；Putput=newPut(Bytes.toBytes(rowkey));步骤2：设置cell值；Put.add(family,column,value)Put.add(family,column,timestamp,value)Put.add(KeyValuekv)步骤3：调用HTable中的put方法，写入数据；步骤4：关闭HTable句柄。15向HBase写入数据16从Hbase中读取数据支持的API类型通过rowkey获取一行数据通过一个rowkey集合获取多条记录扫描整个表或者表的一部分扫描表可指定扫描的范围[startkeyendkey)表中数据是按照rowkey排序的API特点数目有限、使用简单17从Hbase中读取数据读取数据时注意事项只读取需要的数据尽可能增加数据约束条件可增加family,column(s),timerange和maxversions等约束条件接口实例get.setTimeRange(minStamp,maxStamp)get.setMaxVersions(maxVersions)get.addFamily(family)get.addColumn(family,column)18从Hbase中读取数据19从Hbase中删除数据20从Hbase中scan数据21目录1.Hbase访问方式2.HbaseJava编程3.Hbase多语言编程4.Hbase-MapReduce编程5.总结22Hbase-Thrift拓扑结构23使用步骤1.HDFS/HBase安装2.启动Hbasethriftserverbin/hbase-daemon.shstartthrift3.生成Hbasethriftclient接口文件thrift--genphpHbase.thriftthrift--gencppHbase.thrift4.编写客户端代码24HbaseC++编程1.生成Hbasethriftclient接口文件thrift--gencppHbase.thrifthbase.thrift位置：${HBASE_HOME}/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift2.编写客户端代码${HBASE_HOME}/src/examples/thrift/DemoClient.cpp3.编译代码（make）4.运行程序./DemoClient25HbaseC++编程—头文件26HbaseC++编程—初始化27HbaseC++编程—获取所有表28HbaseC++编程—创建表29HbaseC++编程—插入数据30HbaseC++编程—全表扫描31HbaseC++编程—全表扫描32HbasePython编程1.生成Hbasethriftclient接口文件thrift--genpyhbase.thrifthbase.thrift位置：${HBASE_HOME}/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift2.编写客户端代码${HBASE_HOME}/src/examples/thrift/DemoClient.py3.运行程序pythonDemoClient.py33HbasePython编程—头文件与初始化34HbasePython编程—获取所有表35HbasePython编程—创建表36HbasePython编程—插入数据37HbasePython编程—全表扫描38HbasePython编程—全表扫描39Hbase更多语言编程1.PHP${HBASE_HOME}/src/examples/thrift/DemoClient.php2.Ruby${HBASE_HOME}/src/examples/thrift/DemoClient.rb3.其他语言Thrift支持的语言全部支持，包括：C++、C#、Cocoa、D、Delphi、Erlang、Haskell、Java、Perl、PHP、Python、Ruby、Smalltalk等40目录1.HBase访问方式2.HbaseJava编程3.Hbase多语言编程4.HbaseMapReduce编程5.总结HbaseMapReduce编程—基础publicabstractclassTableMapperKEYOUT,VALUEOUTextendsMapperImmutableBytesWritable,Result,KEYOUT,VALUEOUT{}publicabstractclassTableReducerKEYIN,VALUEIN,KEYOUTextendsReducerKEYIN,VALUEIN,KEYOUT,Writable{}HbaseMapReduce编程—基础MapReduce程序基本框架创建Job对象，设置基本属性；设置scan对象，指定扫描区间和数据列；调用TableMapReduceUtil的initTableMapperJob和initTableReducerJob设置Mapper和Reducer等信息；提交作业HbaseMapReduce编程—实例HbaseMapReduce编程—实例概述HbaseMapReduce编程—Mapper实现HbaseMapReduce编程—Reducer实现HbaseMapReduce编程—main函数实现48目录1.Hbase访问方式2.HbaseJava编程3.Hbase多语言编程4.HbaseMapReduce编程5.总结总结HbaseAPI概述HbaseJava编程Hbase多语言编程Hbase-MapReduce编程总结