面向实时数据仓库的达梦数据交换平台改进

分类号__________学号______________学校代码__________密级______________硕士学位论文面向实时数据仓库的达梦数据交换平台改进学位申请人：付威学科专业：计算机技术指导教师：吴恒山副教授答辩日期：2012年5月25日10487M201072271AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringImprovementofDamengDataInterchangePlatformOrientedOnReal-timeDataWarehouseCandidate:FuWeiMajor:ComputerTechnologySupervisor:AssociateProf.WuHengshanHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaMay,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。不保密√。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日本论文属于I华中科技大学硕士学位论文摘要在当前经济竞争激烈的信息化时代，实时数据仓库不仅需要为BI(BusinessIntelligence)系统提供预测和分析的战略性支持，而且还需要提供实时战术性决策支持。实时战术性决策支持要求实时数据仓库能够进行实时快速地更新，然而传统数据仓库ETL周期调度更新方式和批量处理不能实施实时快速地更新，鉴于达梦数据交换平台是一款专业的ETL产品，且不能对实时数据仓库提供实时支持，因此，对达梦ETL改进以适应实时数据仓库环境具有重要意义。基于实时数据仓库特点及对ETL新要求的分析，提出了一种实时数据仓库体系结构；同时在对达梦ETL实现原理进行了深入研究基础上，从调度策略和ETL过程执行两方面进行了改进。其一：考虑到传统数据仓库以天、星期和月等为周期进行周期调度，这种方式的数据时延很大，不能满足实时数据仓库环境的要求。因此在达梦ETL上增加了一种事件触发调度，事件触发调度是一种灵活的实时调度策略，它结合了数据源中变更数据的特点及用户的需求等，可以实现从多角度设置触发条件，能够实时地对数据仓库中数据进行更新，很好地满足实时数据仓库对ETL的实时调度的需求。其二：实时数据仓实时性实时触发调度需要快速执行ETL过程，而达梦ETL过程执行时，数据抽取、转换和装载过程各在一个线程中执行，因此采用了多线程任务执行分解方案对ETL过程执行加于改进，实现多线程并发执行数据抽取、转换和装载过程，通过提高并发度来提高ETL过程的执行效率。通过实验表明，事件触发调度策略能够根据用户所设置的条件进行判断，在条件成立时实时地把增量数据集中的数据更新到实时数据仓库中，并且多线程任务执行分解改进在系统CPU资源没有得到充分利用时，对ETL过程的执行效率有一个显著的提高。关键词：实时数据仓库，数据交换平台，事件触发调度，多线程任务执行分解II华中科技大学硕士学位论文AbstractDataWarehousenotonlyprovidestheserviceofstrategicpredictinganalysisforBI,butalsoneedtoprovidetheserviceofreal-timetacticalanalysis,intheeraoffierceeconomiccompetition.theserviceofreal-timetacticalanalysisrequiresthatthedataintheReal-TimeDataWarehousewareupdatedintimeandquickly,butthetraditionalperiodicalschedulingstrategyofETLinDataWarehousecan’t.inviewthatDamengdatainterchangeisaprofessionalETLproducts,butitcouldn’tprovidetheserviceofreal-timetacticalanalysis,Therefore,theprofessionalETLimprovementtoadapttotheenvironmentofreal-timedataismeaningful.Basedonthein-depthanalysisofReal-TimeDataWarehouseandthenewrequirementsforETL,akindofReal-TimeDataWarehousearchitecturewasproposed.Afterthein-depthresearchoftheimplementationprincipleofDamengETL,thereshouldmakeDamengETLbetteraccordingtoimprovingthetwoaspectsoftheschedulingstrategyandexecutiveprocessofETL.Firstly,thetraditionalDataWarehouseisgenerallyupdatedbyday,weekormonthintermofperiodicallyscheduling,andtheschedulingstrategyhastheshortcomingoflargetimedelayandcannotfittheenvironmentofReal-TimeDataWarehouse.SotheeventtriggerschedulingstrategyisemployedontheplatformofDamengETL,thestrategyisaflexibleschedulingmanner,itcanimplementthesettingoftriggerconditionfrommultipleperspectivesandwellcombinethechangeddata’scharacteristicinthedatasourceswiththerequirementsoftheuser,andcanupdatesthedatainDataWarehouseintime.Secondly,becauseoftherequirementofthehigherETLworkefficiencyinReal-TimeDataWarehouseandthefactthattheprocessesofdataextraction,datatransformation,dataloadingrunintheirownthreadintheprocessofETLwork,theschemaofmulti-threadedtaskexecutiondecompositionfortheexecutionofETLworkwasproposed,andintheschemamulti-threadexecutetheprocessesofdataextraction,datatransformation,dataloading,andtheschemapromotestheETLworkefficiencybymeansoftheimprovementofconcurrentdegree.Lastly,theexperimentalresultsshowthattheschemaofmulti-threadedtaskdecompositioncanimprovetheETLworkefficiencyandthestrategyofeventtriggerIII华中科技大学硕士学位论文schedulingiseffective,canloaddataintotheReal-TimeDataWarehouseintimefromtheincrementaldatasetinthesituationofmeetingconditions,andtheschemaofmulti-threadedtaskdecompositioncanimprovetheETLworkefficiencyintheconditionthatthesystemCPUresourcesisnotusedcompletely.Keywords：Real-TimeDataWarehouse,DataInterchangePlatform,eventtriggerscheduling,multi-threadedtaskdecompositionIV华中科技大学硕士学位论文目录摘要...........................................................................................................IAbstract.....................................................................................................II1绪论1.1课题背景及意义.............................................................................(1)1.2国内外概况....................................................................................(2)1.3课题主要研究工作.........................................................................(5)2实时数据仓库及达梦ETL分析2.1实时数据仓库需求分析..................................................................(7)2.2达梦ETL改进分析......................................................................(10)2.3达梦数据交换平台改进方案........................................................(15)2.4小结..............................................................................................(16)3达梦ETL事件触发调度设计与实现3.1达梦ETL事件触发调度基本思想...............................................(17)3.2达梦ETL事件触发调度分析与设计.........................................