Hbase 总结

Hbase的安装与配置2015年5月16日10:44[1]安装jdk（用户：root）新建文件夹“/usr/share/java_1.6”，把jdk-6u45-linux-x64.bin上传至“/usr/share/java_1.6”文件夹下。执行命令：cd/usr/share/java_1.6chmod+xjdk-6u45-linux-x64.bin./jdk-6u45-linux-x64.bin[2]添加Java环境变量（用户：etl）修改“/home/etl/.bash_profile”，加上以下三句配置：exportJAVA_HOME=/usr/share/java_1.6/jdk1.6.0_45exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar[3]安装hbase（用户：etl）把hbase-0.98.7-hadoop2-bin.tar.gz上传至“/home/etl/_jyy/”执行命令：cd/home/etl/_jyy/tarxfzhbase-0.98.7-hadoop2-bin.tar.gz[4]配置hbase（用户：etl，需要手工新建以下两个文件夹）修改/home/etl/_jyy/hbase-0.98.7/conf/hbase-site.xml，配置如下：configurationpropertynamehbase.rootdir/namevalue/home/etl/_jyy/BIDATA/hadoop/hbase_data/hbase//value/propertypropertynamehbase.zookeeper.property.dataDir/namevalue/home/etl/_jyy/BIDATA/hadoop/hbase_data/zookeeper//value/property/configuration修改“/home/etl/.bash_profile”，加上以下配置：aliashbase=/home/etl/_jyy/hbase-0.98.7-hadoop2/bin/hbase[5]启动hbase（用户：etl）cd/home/etl/_jyy/hbase-0.98.7-hadoop2/bin/./start-hbase.sh[6]停止hbase（用户：etl）修改“/hbase/hbase-0.98.7-hadoop2/conf/hbase-env.sh”的以下配置，并建文件夹。exportHBASE_PID_DIR=/hbase/hbase-0.98.7-hadoop2/pidscd/hbase/hbase-0.98.7-hadoop2/bin/./stop-hbase.shHbase表操作-DDL2015年5月16日10:51【Oracle的模型】模型名：DM_集团拍照TOP35客户(TM_CORP_SNMBR_TOP35_M)Erwin:广东移动市公司数据集市项目－物理模型－广州.ER1SubjectArea:MainSubjectArea====================================================================================================序号|字段英文名|数据类型|PK|NULL|字段中文名|备注说明====================================================================================================1|STAT_MO|NUMBER(10)|Yes|NOTNULL|统计月份|2|LOC_LVL1_CD|VARCHAR2(20)|Yes|NOTNULL|归属层次1|3|DATA_TYP_CD|NUMBER(10)|Yes|NOTNULL|数据类型编码|4|SNAP_USR_CNT|NUMBER(14)|No|NULL|拍照用户数|指标值5|RETN_USR_CNT|NUMBER(14)|No|NULL|保有客户数|6|SNAP_ARPU|NUMBER(16,4)|No|NULL|拍照ARPU|7|RETN_ARPU|NUMBER(16,4)|No|NULL|保有ARPU|8|G4_PNTRN_RT|NUMBER(14,4)|No|NULL|4G渗透率|9|BIND_PNTRN_RT|NUMBER(14,4)|No|NULL|捆绑渗透率|10|SPAY_PNTRN_RT|NUMBER(14,4)|No|NULL|统付渗透率|====================================================================================================【测试机环境】测试机地址：10.200.1.5用户名：hadoop密码：123456在shell命令行执行1-5步：[1]进入命令行：hbaseshell[hadoop@bogon~]$hbaseshell2014-11-1710:39:16,520INFO[main]Configuration.deprecation:hadoop.native.libisdeprecated.Instead,useio.native.lib.availableHBaseShell;enter'helpRETURN'forlistofsupportedcommands.TypeexitRETURNtoleavetheHBaseShellVersion0.98.3-hadoop2,rd5e65a9144e315bb0a964e7730871af32f5018d5,SatMay3119:56:09PDT2014hbase(main):001:0[2]把表设置成失效状态：disable'TM_CORP_SNMBR_TOP35_M'hbase(main):001:0disable'TM_CORP_SNMBR_TOP35_M'2014-11-1710:59:04,516WARN[main]util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable0row(s)in2.2420seconds[3]删除表：drop'TM_CORP_SNMBR_TOP35_M'分两步：首先disablet1，然后dropt1例如：删除表t1hbase(main):001:0drop'TM_CORP_SNMBR_TOP35_M'2014-11-1710:59:54,311WARN[main]util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable0row(s)in1.2140seconds[4]建表：create'TM_CORP_SNMBR_TOP35_M','CF'hbase(main):001:0create'TM_CORP_SNMBR_TOP35_M','CF'2014-11-1711:01:22,580WARN[main]util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable0row(s)in1.0910seconds=Hbase::Table-TM_CORP_SNMBR_TOP35_Mcreate'test_hadoop','m_id','address','info'[5]删除一个列族m_id：先将表disable（如果表中之前有数据的话，会把数据清空）hbase(main):030:0disable'member'hbase(main):033:0is_enabled'member'hbase(main):034:0alter'member',{NAME='m_id',METHOD='delete'}[6]查看是否存在表：list'TM_CORP_SNMBR_TOP35_M'hbase(main):002:0list'TM_CORP_SNMBR_TOP35_M'TABLETM_CORP_SNMBR_TOP35_M1row(s)in0.1010seconds=[TM_CORP_SNMBR_TOP35_M]退出shell命令行执行6-9步：[6]造数：《TM_CORP_SNMBR_TOP35_M.txt》201410,GZ01,1,100,200,1.1,1.1,1.1,1.1,1.1201411,GZ02,1,100,200,1.1,1.1,1.1,1.1,1.1put插入几条记录put'test_hadoop','scutshuxue','info:age','24'put'test_hadoop','scutshuxue','info:birthday','1987-06-17'put'test_hadoop','scutshuxue','info:company','alibaba'[7]删除输出文件夹的文件：rm-rf/BIDATA/hadoop/jyy/output[8]生成HFILE文件hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.columns=CF:STAT_MO,CF:LOC_LVL1_CD,CF:DATA_TYP_CD,CF:SNAP_USR_CNT,CF:RETN_USR_CNT,CF:SNAP_ARPU,CF:RETN_ARPU,CF:G4_PNTRN_RT,CF:BIND_PNTRN_RT,CF:SPAY_PNTRN_RT-Dimporttsv.rowkey.columns=CF:STAT_MO'-Dimporttsv.separator=,'-Dimporttsv.mapper.class=org.apache.hadoop.hbase.mapreduce.TsvImporterTextMapper-Dimporttsv.bulk.output=/BIDATA/hadoop/jyy/outputTM_CORP_SNMBR_TOP35_M/BIDATA/hadoop/jyy/input/TM_CORP_SNMBR_TOP35_M.txt[hadoop@bogon~]$hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.columns=CF:STAT_MO,CF:LOC_LVL1_CD,CF:DATA_TYP_CD,CF:SNAP_USR_CNT,CF:RETN_USR_CNT,CF:SNAP_ARPU,CF:RETN_ARPU,CF:G4_PNTRN_RT,CF:BIND_PNTRN_RT,CF:SPAY_PNTRN_RT-Dimporttsv.rowkey.columns=CF:STAT_MO'-Dimporttsv.separator=,'-Dimporttsv.mapper.class=org.apache.hadoop.hbase.mapreduce.TsvImporterTextMapper-Dimporttsv.bulk.output=/BIDATA/hadoop/jyy/outputT