中国电信大数据技术交流042147

SecurityLevel:www.huawei.com中国电信大数据技术与应用交流华为软件中国区运营支撑产品部尹凯华为保密信息，未经授权禁止扩散Page21、移动互联网时代运营商面临的大数据挑战2、大数据主流技术与发展趋势3、大数据技术在电信行业的典型应用场景4、大数据解决方案与案例分享目录华为保密信息，未经授权禁止扩散Page3大数据时代已经来临……2001年是一年，2004年是一月，2007年是一周，2013年是一天，即一天产生的信息量可刻满1.88亿张DVD光盘淘宝网站(天)：数千万笔交易；超过50TB数据；40PB存储数据；Facebook(天)：上传3亿张照片；超过500TB的数据增长量；全球全网达到1000PB时间：一个8Mbps的摄像头一小时产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。BigData物联数据新摩尔定理：网络环境下每18个月产生的数据量等于有史以来数据量之和。---图灵奖获得者JimGray华为保密信息，未经授权禁止扩散Page4影响商业变革的大数据…农业领域金融领域医疗领域对天气数据，植物生长数据，土壤数据等海量数据分析；对于天气和收成做出综合判断，向农户提供个性化保险；阿里金融通过大数据合理放贷，改变银行业。目前已放贷300多亿元，坏账率仅0.3%。日息百万谷歌通过流感关键词分析，进行流感趋势预测；比传统方法提前两周；以发表于自然杂志ENetflix通过大数据分析预测推出美剧《纸牌屋》，颠覆影视发行业；上线20天后，播放量超343万次，被称为美国白宫版的《甄嬛传》。.娱乐领域互联网女皇玛丽·米克说过，人们的生活将变得更好，因为他们将能以非常低的成本获取所有信息，娱乐服务变得更加便宜，人们能更容易地获得帮助，更容易地趋吉避凶。这是一个最好的时代，也可能是一个最坏的时代….华为保密信息，未经授权禁止扩散Page5KeyFindings■Bigdatainvestmentsin2013continuetorise,with64%oforganizationsinvestingorplanningtoinvestinbigdatatechnologycomparedwith58%lastyear.Investmentsareledbymediaandcommunications,bankingandservices.Plannedinvestmentsthenexttwoyearsarehighestfortransportation,healthcareandinsurance.Fewerthan8%ofrespondentshavedeployed.■Enhancedcustomerexperienceisthetopbigdatapriority,withprocessefficiencyclosebehind.Organizationsstrugglemostwithknowinghowtogetvaluefrombigdata,comparedwithlastyear'stopchallengeofgovernance.Obtainingskillsremainsacriticalissueforonethirdoforganizations.■BigDataistoutedasbeingaboutunconventionaldatasourcesandtheuseofnewandinnovativetechnologies;thisisnotyetreflectedinthechosensourcesforfirstprojects.Transactionandlogdatastilldominatesthebigdatabeinganalyzed.■Bigdatatechnologiessupplement—butdonotreplace—existinginformationmanagementandanalytics.Asaresult,cloudadoption,withitssupplementarynature,istheoverridingtechnologythatcompaniesareusingtoderivevaluefrombigdata.Gartner2013年最新问卷调查发现…2013年64%的被调查者已经或计划在大数据领域进行投资，这个数字相比去年的58%又有所增长；投资居前的是媒体、通讯、银行和服务行业；计划在接下来的两年中进行投资的是交通、医疗和保险行业；其中不到8%的被调查者已经部署了。改善客户体验成为Top1的应用，提升效率紧随其后；如何从中获得收益还在努力探索。三分之一的受访企业认为最大困难是掌握大数据技能；大数据的热点是非传统数据数据源和新技术的使用。这一点并没有在最开始的项目中体现出来，交易数据和日志数据在这些项目中仍然占主导；作为大数据技术的补充，很多公司都采用云计算技术来从大数据中获取收益。华为保密信息，未经授权禁止扩散Page6电信运营商大数据应用领域Top8－Gartner调研Gartner通过调研识别运营商数据方面目前和今后可能的潜在应用，归纳总结得出TOP8类数据应用Case。该报告可以作为CSP未来大数据应用的一个参考建议1.Top-Levelkeyperformanceindicators（KPIs）:OSS领域的KPI分析报告2.Marketing-Customerexperience：从营销角度看客户体验3.Networks-Customerexperience：从网络状态看客户体验4.Product/devicemanagement：利用用户使用的设备和服务信息来加强产品管理5.Customerservices：利用客户数据增强客服服务能力6.Marketing：实时营销管理、客户行为分析等7.Third-partyuses：向第三方开放数据8.Verticaluses：在垂直行业(如物联网)中的数据应用华为保密信息，未经授权禁止扩散Page7中国三大电信运营商面临的大数据挑战移动互联网流量井喷与客户行为分析：MBB流量井喷，DPI和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战。提升客户体验要求分析网络服务数据：移动互联网和个人消费领域业务扩展和CEM导致海量数据的及时分析带来挑战IT系统集中化和数据价值分析挖掘：运营商一体化集中运营和透明管控，催生巨大的经营分析数据仓库，对大数据处理的存储、性能、开放带来挑战。业务融合、能力互通带来数据融合：ICT融合，核心网络、运营支撑和VAS业务数据的融合催生海量UserProfile并集，对大数据的关联分析计算效能带来挑战。华为保密信息，未经授权禁止扩散Page8大数据战略成为运营商转型过程的必备选择唯有能认识、理解、并学会利用大数据，抢占先机者，才能在新的时代规则中不被淘汰。大数据战略华为保密信息，未经授权禁止扩散Page9运营商大数据项目的5种主要类型策略分类驱动角色&部门需求分类描述运营商重要性中短期长期战略驱动型TOP1大数据基础架构集中化建设以提升面向大数据的IT技术和处理能力为目标，进行水平化集中化的数据中心建设VimpelCom的One-IT战略PLDT存储中心方案重要重要增强经分型信息化部经营分析决策系统建设面向商业运营，跨各业务/网元的大数据经营分析决策平台，构建企业级分析决策智能中心汇聚更多的详单及互联网信息，构建对用户和流量的深度分析能力，增强流量经营能力中移动集中化经分TLF的RTD实时决策支撑系统重要向统一数据中心演化业务营销驱动市场部&增值业务部嵌入式精准营销业务内嵌的数据挖掘、专题数据分析，以提升用户体验、完善产品设计、提高营销效率中移动动漫基地、视频基地、阅读基地……被统一数据中心合并网络优化型网络部网络服务质量控制针对网络的PolicyView/PCRF，提供实时智能化管道运营能力，或提升网络NPM、SQM管理能力等VDF土耳其，印尼Telkomsel，天津移动中商业模式创新TOP1&市场部专题性的数据汇聚、分析和开放当前主要以人流统计数据开放获取收入，创新商业模式Telefonica、Verizon沙特Mobily重要多个域数据融合在一个统一的数据管理框架下，对外提供标准化的、受控的数据服务，是未来演进的趋势。华为保密信息，未经授权禁止扩散Page101、移动互联网时代运营商面临的大数据挑战2、大数据主流技术与发展趋势3、大数据技术在电信行业的典型应用场景4、大数据解决方案与案例分享目录华为保密信息，未经授权禁止扩散Page11大数据特征“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”—维基百科Volume：数量大Velocity：及时性要求高Variety：种类和来源多样化•集中储存/集中计算已经无法处理巨大的数据量•文本/图片/视频/文档等•海量数据的及时有效分析Value：价值密度低•大量的不相关信息的进行复杂深度分析，深挖价值精准营销深入洞察统一监控分析华为保密信息，未经授权禁止扩散Page12传统数据管理模式遇到的问题…数据处理能力和存储模式不适应大数据的冲击，表现在以下几个方面：海量数据储存成本高数据批量处理能力不足计算和存储扩展能力受限流式数据处理能力缺失缺乏非结构化数据的处理能力华为保密信息，未经授权禁止扩散Page13Hadoop是什么？华为保密信息，未经授权禁止扩散Page14关于HDFS（HadoopDistributedFileSystem）华为保密信息，未经授权禁止扩散Page15关于MR(MapandReduce）华为保密信息，未经授权禁止扩散Page16关于HBase华为保密信息，未经授权禁止扩散Page17ApacheHadoop开源社区目前有3个分支在并行发展：版本状态性能YARN架构HDFSHAMRHA社区支持0.23.xStable中支持不支持不支持只修复bug不发展新特性1.xStable中不支持支持不支持只修复bug不发展新特性2.xAlpha优支持支持支持重点发展，未来的主干版本Huawei企业版HadoopHuawei企业版Hadoop功能架构：华为企业版Hadoop选择2.x作为基线版本，主要原因：性能更优可靠性增强，架构支持HDFSHA、MRHA资源调度框架YARN未来的主干版本，新特性合入华为保密信息，未经授权禁止扩散Page18Hadoop技术体系中的技术革新在Hadoop的生态圈中，分布式文件系统（HDFS）以及2.0版本的调度引擎（YARN）的地位比较稳固，除此之外的其他存储计算引擎/计算引擎弊端相当明显，技术革新相当迅猛。•M/R计算模型存在的多次落地弊端，面临着Hyracks，Tez等有向DAG引擎的威胁•Hive等面临Impala、Drill等组件威胁•整个Hadoop生态圈大部分组件面临着Spark的威胁，特别是M/R、Hive、Streaming等部件HDFSHBaseYARNMapReduceHiveStorm技术频繁变更，大数据平台架构需要考虑技术革新带来的风险，保证前期投资不打水漂；挑选有实力的合作伙伴，保证对技术的持续跟踪和全方位的服务成为关键。华为保密信息，未经授权禁止扩散Page19从集中数据库向分布式数据库转变——MPPDB(sharedisk)(sharenothing)目前我们的建议:都比较适合大数据的处理考虑扩展性，主存储和ETL数据加工应首选sharenothing数据分析要求灵活，扩容压力不大，自定义数据处理的应用建议采用sharedisk演进趋势：局域网络带宽在不断提升，sharedisk前景同样很好，与sharenothing适用不同的场景。MP