您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 信息化管理 > Hive理论_Hive-基于MapReduce框架的数据仓库解决方案_ZN
文档名称文档密级:2020-5-22华为机密,未经许可不得扩散第1页,共9页Hive-基于Map-Reduce框架的数据仓库解决方案AshishThusoo,JoydeepSenSarma,NamitJain,ZhengShao,PrasadChakka,SureshAnthony,HaoLiu,PeteWyckoff,RaghothamMurthyFacebookDataInfrastructureTeamTranslatorQichen1介绍在商业智能领域(BI,businessintelligence),海量数据的搜集和分析发展尤为迅速,意味着使用传统的数据仓库解决方案会变得极其昂贵。Hadoop是一个流行的开源框架,实现了map-reduce,使用普通硬件就能对海量数据进行存储和处理。然而,map-reduce编程模型较底层,需要开发者编写很多程序,这些程序又难于维护和复用。本文将展示Hive,它是一个基于Hadoop之上的开源数据仓库解决方案。Hive提供了与SQL类似的一种查询语言HiveQL,用于支持查询表达并能将其转化为map-reduce任务在hadoop中执行。HiveQL还支持在查询中插入自定义的map-reduce脚本。HiveQL包含了一个类型系统,用来支持表中出现的原始类型、类似于数组和map的集合类型以及由他们嵌套组成的类型。可以扩展其基本IO库进行自定义格式的数据查询。Hive还包括了一个系统目录(systemcatalog)Hive-Metastore,此系统提供模式(schemas)和统计,用于数据挖掘和查询优化。在Facebook公司,Hive数据仓库中存有数千张容量至少为2PB的表,有超过100人使用其做报告和查询分析之用。本文其它章节的描述如下:第2节描述Hive数据模型和HiveQL使用实例第3节描述Hive体系结构及概览查询的各阶段第4节对演示进行了说明在第5节我们讨论未来的工作并以此结束2HIVE数据库2.1数据模型Hive中的数据可划分为如下类型:表(Tables)类似于传统数据库中的表。表中的数据存储在HDFS目录中。Hive为用户提供了一个框架,用于访问由DDL语句创建的具有基本数据类型格式的表(或分区)。用户还可以通过定义新的序列化和去序列化方法(又称为SerDe’s)的方式提供相应的抽取器(extractors)和加载器(loaders),用以访问新数据类型格式的表。表和新数据格式的关联关系被存储在系统目录(systemcatalog)中,在编译和执行查询文档名称文档密级:2020-5-22华为机密,未经许可不得扩散第2页,共9页的时候被Hive自动使用。Hive还提供了默认的序列化格式,默认的格式采用了压缩和惰性去序列化。此外,Hive还支持扩展表,这些表的数据可能存储在HDFS,NFS和本地目录中。分区(Partitions)每张表可以有1或多个分区用以划分数据,划分后的数据存放到表所在目录下的子目录中。比如,表T的数据存储在目录/wh/T,现按列ds=20090101和ctry=US对其进行划分,那么划分后的数据将会存储在目录/wh/T/ds=20090101/ctry=US中。桶(Buckets)分区中的数据还能依次分成不同的桶,桶的划分基于表中各列的哈希值(Hash),桶做为分区目录中的一个文件存储的。Hive支持原始的列类型(integers,floatingpointnumbers,genericstrings,dates和booleans)和嵌套的集合类型:array和map。用户也可以定义自己的类型。2.2查询语言HiveQL是一种很像SQL的查询语言。事实上,SQL查询所包含select,project,join,aggregate,unionall和from语句下的子查询也适用于HiveQL。Hive支持数据定义(DDL)语句,能用来创建,删除和修改表,还允许用户从外部源加载数据以及分别通过加载(load)和插入(insert)数据操作语句(DML)将查询得到的结果插入到Hive的表中。HiveQL目前不支持更新(updating)和删除(deleting)表中的行。HiveQL还支持多表插入,用户可以对相同的输入数据使用一个HiveQL语句进行多维查询,Hive通过共享输入数据优化了这种查询。HiveQL也易于扩展,用户能插入用java编写的自定义的列转换和聚合功能。此外HiveQL允许用户嵌入自定义map-reduce脚本,这些脚本可以用任何语言进行编写,并且都是简单的基于行(row-bashed)书写的,比如从标准输入读入行以及输出行到标准输出。此特点就能将行转化字符串。我们省略了很多的细节,有关HiveQL语言的更多描述可以参考其手册。2.3实例:StatusMeme我们现在展示一个简单的应用:StatusMeme,来自FacebookLexicon。当Facebook的用户更新其状态时,更新的信息会记录到NFS目录中/logs/status_updates,更新每天都在持续。我们加载数据到hive中一个表中:status_updates(useridint,statusstring,dsstring)使用如下语句进行数据的加载:LOADDATALOCALINPATH‘/logs/status_updates’INTOTABLEstatus_updatesPARTITION(ds=’2009-3-20’)每一条记录包含用户标识符(userid),状态字串(status)和状态更新的日期(ds),这张表按ds列进行划分。更详细的用户信息比如性别,读过的学校保存在profiles文档名称文档密级:2020-5-22华为机密,未经许可不得扩散第3页,共9页(useridint,schoolstring,genderint)表中。首先我们统计出当日状态信息被更新的记录,然后按学校项统计当日的记录数量并输出到school_summary(schoolstring,cntint,dsstring)表中以及按性别项统计当日的记录数量并输出到gender_summary(genderint,cntint,dsstring)表中。注意到输出表也按ds列进行了分区,并且HiveQL允许用户在输出表的指定分区中插入查询结果。FROM(SELECTa.status,b.school,b.genderFROMstatus_updatesaJOINprofilesbON(a.userid=b.useridanda.ds=’2009-03-20’))subq1INSERTOVERWRITETABLEgender_summaryPARTITION(ds=’2009-03-20’)SELECTsubq1.gender,COUNT(1)GROUPBYsubq1.genderINSERTOVERWRITETABLEschool_summaryPARTITION(ds=’2009-03-20’)SELECTsubq1.school,COUNT(1)GROUPBYsubq1.school接下来,我们按学校项显示出每个学校最流行的10个memes。同时展示通过使用HiveQL的map-reduce完成这次计算。我们联合status_updates和profiles两张表并插入一个自定义的Pythonmapper脚本meme-extractor.py得到了结果。这个脚本用自然语言的方式去描述从状态字串中抽取memes。因为Hive还不支持范围聚合功能(rankaggregationfunction),所以每个学校的top10memes的计算是使用自定义的Pythonreduce脚本top.py完成的。FROM(SELECTsubq1.school,subq1.meme,COUNT(1)AScntFROM(MAPb.school,a.statusUSING‘meme-extractor.py’AS(school,meme)FROMstatus_updatesaJOINprofilesbON(a.userid=b.userid))subq1GROUPBYsubq1.school,subq1.memeDISTRIBUTEBYschool,memeSORTBYschool,meme,cntdesc)subq2;REDUCEsubq2.school,subq2.meme,subq2.cntUSING‘top10.py’AS(school,meme,cnt)文档名称文档密级:2020-5-22华为机密,未经许可不得扩散第4页,共9页3HIVE体系结构图1Hive架构图1显示了Hive中的主要部件以及其和Hadoop的交互关系。Hive的主件有:外部接口Hive提供了两个用户接口:命令行(CLI)和webUI以及应用编程接口(API):JDBC和ODBCThriftServer提供了一个很简单的API用于执行HiveQL语句。Thrift框架提供多语言服务,是用一种语言(如Java)编写的客户端,也支持其它语言编写。Thrift客户端可由不同语言生成,用来构建通用驱动程序如JDBC(java),ODBC(c++)以及用php,perl,python等语言编写的脚本驱动。Metastore是一个系统目录(systemcatalog)。与metastore交互的其它Hive组件详见3.1节Driver掌管HiveQL语句的生命周期,周期包括编译,优化和执行。用于接收了来自thrift服务器或其它接口的HiveQL语句。Driver会创建一个sessionhandle用以统计执行时间,输出行个数等信息。Compiler由dirver调用,将接收到的HiveQL语句转换为由map-reduce任务的DAG组成的策略(plan),详见3.2节ExecutionEnginedirver提交单独的map-reduce任务到执行引擎(Execution文档名称文档密级:2020-5-22华为机密,未经许可不得扩散第5页,共9页Engine),这些任务来自DAG并以拓扑顺序被提交。目前,Hive使用Hadoop做为它的执行引擎接下来我们对metastore和compiler进行详细阐述3.1MetastoreMetastore是系统目录(catalog)用于保存Hive中所存储的表的元数据(metadata)信息。每次在使用HiveQL创建或使用表时均会指定元数据。Metastore是Hive被用作传统数据库解决方案(如oracle和db2)时区别其它类似系统的一个特征,这些系统如Pig和Scope也是构建在map-reduce框架上的数据处理系统。Metastore包含如下的部分:Database是表(table)的名字空间。默认的数据库(database)名为‘default’,提供给那些没有被指定数据库名的表使用。Table表(table)的原数据包含信息有:列(listofcolumns)和它们的类型(types),拥有者(owner),存储空间(storage)和SerDei信息。还包含有任何用户提供的key和value数据;这一能力在将来还可能被用于存储表(table)的统计信息。存储空间(storage)信息包含表(table)的数据,数据格式和桶信息。SerDe元数据包含有:实现序列化和去序列化方法的类以及实现时所需要的信息。所有这些信息会在表创建的时候产生。Partition每个分区(partition)都有自己的列(columns),SerDe和存储空间(storage)。这一特征将被用来支持Hive中的模式演变(schemaevolution)Metastore存储系统在随机访问和更新的在线事务上还需优化。像HDFS文件系统适用于序列扫描而非随机访问。这样metastore可使用传统的数据库(像MySQL,Oracle)或文件系统(如本地系统,NF
本文标题:Hive理论_Hive-基于MapReduce框架的数据仓库解决方案_ZN
链接地址:https://www.777doc.com/doc-5518825 .html