基于大数据的移动用户行为分析系统与应用案例_谷红勋

20163，（，450016）：Hadoop，，，，。、、、，。：Hadoop；ETL；；：TN91：Adoi:10.11959/j.issn.1000-0801.2016039MobileuserbehavioranalysissystemandapplicationsbasedonbigdataGUHongxun,YANGKeHenanBranchofChinaTelecomCo.,Ltd.,Zhengzhou450016,ChinaAbstract:BasedonHadoop’sarchitecture,thissystemcollectsandanalyzesthetelecomoperatornetwork’sdatatobuildupuserbehaviormodelforeffectiveexplorationofbigdataapplications.Thewholeprocesswasdiscussed,includingdatacollection,systemdesign,implementationandapplicationcases.Keywords:Hadoop,ETL,datamodel,userbehavioranalysis：2015-07-28；：2015-12-151、、4G，。，、、、。（Oracle、SPSS、SAS），，。，，。，，，，，，，。。·[1]，，，、、。·[2]、。，、。2016039-11（Oracle+、DB2+）、；，OLTP；、MPP（，Teradata、OracleExadata）TB、PB；、；；OLAP；、(x86、Hadoop)PB；、；；OLAP；，，·[3]，，，。2（Oracle、SPSS、SAS），，。，，，、、、。，。。·：，“UNIX++”。·：BI，、、。·x86：Hadoop，x86。，，，（+）、。，1。，、，，：·，；·，，MPP。、，Hadoop。。·：、，，。·：、，，。·：x86，。·：x86，，。33.1HadoopHadoop。Hadoop、、，，，。·：，，。·：，。·：，。·：，。3.2，，2016039-2140··201632，，，、、、、10GBCRM、、、200GB4GBODS、、、2GBEDW3.3GB、QQ、、300GB、667MBISMP、SPSP，、、、10GB、SPSP，、、、6GB（、、）、、IP50GBUDB、60GB，、URL、1.4TBDPI，IP、URL、、UA10Gbit/sDPI，、IP、、10GBAAAIP30GBAAA100GB2TB1.7GB。，、，。，，，。·：，/，。·：，。·：，。3.3sharedhardware“”，（multi-tenancyarchitecture），（sharedhardware），，，。44.1，TB，。·：BSS、、、、、。·：OSS、。·：MSS、。·DPI：，、URL、、。·AAA：，、IP、、。·DPI：，IP、URL、、UA、cookie。·AAA：IPAD。·：。·：、、、、。2。4.2、、，1。（1），，，，。。（2）ETL。2016039-3141··1，ETL，；，、；map/reduceSQL。（3），、3，ETL、、、，。（4）、，。、、。4.3ETL，ETL：；。ETL，：·，，；·，，；·，，；·，。4.459TB。3，18。4.5Hadoop，4，，，。，DCN。2。55.1、，，（regularity）、（diversity）、（spatialbehavior）、（activebehavior）、（basicphoneuse）、（correlation）6，。（1）·（averageinter-calltime）：（），s。，。·（averageinter-texttime）：，s，。·（averageinter-internettime）：，s，，2G、3G、Wi-Fi。2016039-4142··201632319TB2CCG18TB3ODS1.8TB40TB528.8TB，6Hadoop1095，，37Hadoop5‰5‰8Hadoop1.14975TB1031.42TB++Hadoop1122122∶1，2∶1（）1380%80%14Hadoop58.91TB×（1+）//Hadoop15(Hadoop)10TB2CPU，64GB，12×1TB，2RAID1，，10RAID，1016datanode6x8617namenode2datanode，128GB18datanode161918·（varianceofinter-calltime）：，s2，。·（varianceofinter-texttime）：，s2，。2016039-5143···（varianceofinter-internettime）：，s2，。AR（ARcoefficient）AR，Xt612，612，…，：Xt=c+pi=1ΣφXt-i+εt（1）ARφ6h，6h。（2）（entropyofcall）：，，。AB：H1,A→B=-BΣf1,Blnf1,B（2），f1,BAB。（entropyoftext）：，，。AB：H2,A→B=-BΣf2,Blnf2,B（3），f2,BAB。（entropyofinternet）：，，。A：H3,A=-Σf3lnf3（4），f3A。（contacttocallratio）：。。（contacttotextratio）：。。（numberofcallcontact）：。（numberoftextcontact）：。（3）·（radiusofgyration）：，15min。·（distancetraveled）：。·（numberofplace）：。·（entropyofplace）：、、，，。A：H4,A@Z=-ZΣf4,Zlnf4,Z（5），f4,ZAZ。（4）·（callresponserate）：，1h。。·（textresponserate）：，1h。。·（percentofcallinitiated）：。。（5）·（numberofcall）：。·（numberoftext）：。·（numberofinternet）：。·（flowofinternet）：，Wi-Fi、2G、3G。·（numberofinteraction）：。，1h。（6）·（cellphone-cardratio）：，，。（IMEI）。·（card-cellphoneratio）：，，。2016039-6144··201634（）//。////，//，//，，，，，3·（retailerBayesianfactor）：。，12，，。，。5.2201412，2015，。，，。，。，4。（1）、，（201411、201412）。（2），，（20151-8）。（3），。·：3min、3、3、3MB，3。·：5（）。·：10。·：（+）3，10（10000、11888）3，。，，，“”，，，。，，20151259312，8145219，，3。6Hadoop，、ETL、、。，，，。，3：“”，；“”，、；“”，。、，，。、，，4G、、、、，2016039-7145··，。：[1]WUXD,ZHUXQ,WUGQ,etal.Dataminingwithbigdata[J].IEEETransactionsonKnowledge&DataEngineering,2014,26(1):97-102.[2]MUSOLESIM.Bigmobiledatamining:goodorevil[J].IEEEInternetComputing,2014,18(1):7-10.[3]MONTJOYEYAD,QUOIDBACHJ,ROBICF,etal.Socialcomputing,behavioral-culturalmodelingandprediction[M].Berlin:SpringerHeidelberg,2013.[4]MONTJOYEYAD,HIDALGOCA,VERLEYSENM,etal.Uniqueinthecrowd:theprivacyboundsofhumanmobility[J].OpenAccessPublicationsfromUniversitéCatholiqueDeLouvain,2013,3(6):776.[5]OLIVEIRARD,KARATZOGLOUA,CONCEJEROCP,etal.Towardsapsychographicusermodelfrommobilephoneusage[C]//CHI’11ExtendedAbstractsonHumanFactorsinComputingSystems,May7-12,2011,Vancouver,BC.[S.l.:s.n.],c2011.[6],.“”[J].,2013(5):83-95.LIWL,XIAJM.Businessmodelinnovationbasedon“bigdata”[J].ChinaIndustrialEconomy,2013(5):83-95.[7].“”[J].,2012(2):30-31.ZHAOCL.Computerinformationprocessingtechnologyintheeraofbigdata[J].WorldScience,2012(2):30-31.[8]AGRAWALD,BERNSTEINP,BERTINOE,etal.Challengesandopportunitieswithbigdata[EB/OL].(2011-10-29)[2015-07-28].[9].[J].,2005(5):151-152.WANGXL.Functionalcharacteristicsandapplicationofdatamining[J].PioneeringWithence&TechnologyMonthly,2005(5):151-152.[10].[J].,2013(6):47-51.WANGYS.Researchonbusinessmodelinnovationintheeraofbigdata[J].JournalofNanjingUniversityofFinanceandEconomics,2013(6):47-51.[11].[J].,2012(29).LIL.Thechallengeofthereal-timeanalysisforlargedata[J].CommunicationsWorld,2012(29).[12],.[J].,2013(6):16-17.CHENXX,XUGH.Thestudyofthebigdata'sbusinessmodel[J].E-commerce,2013(6):16-17.[13].[J].,2005(3):28-30.WANGWJ.Associationruleofquantitativedataanditsapplicationforcommunicationindustry[J].StatisticalTheoryandPractice,2005(3):28-30.[14],,.[J].,2004(12):8-9.XUGX,LIUJH,HUANGSF.Theapplicationofdataminingintelecomindustry[J].ModernManagementScience,2004(12):8-9.[15],.[J].,2005(3):7-9.ZHENGHL,GUOM.Analysisoftelecomcustomerchurnbydatamining[J].CommunicationToday,2005(3):7-9[]（1972-