我国大数据的应用现状21

中国大数据技术与产业发展白皮书（2013）第二章大数据典型应用现状大数据将给各行各业带来变革性机会，但真正的大数据运用仍处于发展初级阶段。据《证券日报》市场研究中心统计分析发现，目前我国在公共领域对大数据的运用主要集中在电力行业、智能交通、电子政务、司法系统等四个方面。电力行业：大数据对该行业的应用主要体现在智能电网上，通过获取人们的用电行为信息，智能电网能够实现优化电的生产、分配以及消耗，有利于电网安全检测与控制（包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测）、客户用电行为分析与客户细分，电力企业精细化运营管理等多方面，实现更科学的电力需求管理。智能交通：交通运输部今年7月份下发通知，将对公共交通信息化应用系统建设、相关支撑系统建设、数据资源与交换系统建设提供资金支持。电子政务：通过政府信息化，大数据能够提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力，节约决策的成本。以财政部门为例，基于云计算、大数据技术，财政部门可以按需掌握各个部门的数据，并对数据进行分析，做出的决策可以更准确、更高效。另外，也可以依据数据推动财政创新，使财政工作更有效率、更加开放、更加透明。司法系统：公安市场大规模的信息化和装备投资产生了海量的非结构化数据，公安的实战应用是大数据的重要应用领域。2.1互联网与大数据互联网作为一个数据平台、一个数据集散地，聚集了海量的数据，完全可以借助新的大数据理论和技术，分析其中蕴含的丰富内容、发现其中存在的统计规律，以便为互联网提供更好的服务和应用、为互联网行业今后实现更好更快的持续发展提供定量化的依据。根据2013年7月发布的最新一期《中国互联网络发展状况统计报告》，目前最典型、最主要的互联网服务和应用包括网络新闻、搜索引擎、网络购物/网上支付、网络广告、旅行预订、即时通信/社交网络、博客微博、网络视频/网络音乐、网络游戏等，对当中的许多服务和应用，大数据的新理论、新技术大有用之地，将助推互联网服务和应用得到更好发展，也将使大数据的新理论、新技术在24中国大数据技术与产业发展白皮书（2013）互联网行业找到新的应用点，从而实现互联网与大数据两大新兴领域的有机结合。大数据在互联网领域的应用现状以及未来发展：（1）电子商务：近年来，淘宝、京东等网络零售第三方交易平台和电子商务网站的蓬勃发展，使其上聚集了大量的经营者、消费者和商品、服务，并因此而衍生出了大量的数据，利用大数据理论和技术，对网络购物、网络消费、网络团购、网上支付等数据进行深度挖掘、深入分析，将可发现大量有价值的信息与统计规律，对布局和推动今后中国互联网经济的健康有序发展、对进一步规范经营者和消费者的电子商务活动、加强国家对该领域的宏观调控和监管等，均将产生积极的影响。当前的电子商务平台主要面对两类用户，一是最终消费者，二是大量的商家。对于最终消费者而言，电子商务平台目前主要通过积累和挖掘用户消费过程的行为数据，来为消费者提供商品推荐服务。某些电子商务平台还将时间、地理位置、社交网络等因素融入到用户行为数据中，进一步进行精准推荐。在实际的推荐系统中，主要利用的是机器学习、自然语言理解、大数据分布式存储和并行处理等技术；然而，目前针对第二类用户——商家的大数据分析挖掘服务还较少。一方面，相对于最终消费者，商家更注重数据的隐私性，对于某些数据他们是不愿意被第三方获知的；另一方面，商家的许多商业行为并不都是在线上完成的，有很多是在线下完成的，平台难以获得较为全面的数据。促使商家开放数据或者部分数据，需要在数据安全、数据使用的商业模式和技术等多个层面的创新以及观念的改变才能实现，还需要一定的时间。然而，针对商家数据的分析的确具有很高的价值。例如，通过对商家进货、库存、销售、客户关系等多方位数据的获取和分析，可以有效地为商家推荐优质的上下游业务，帮助商家建立起上下游的产业链关系；可以通过平台数据的分析为商家推送有关税收、融资、法律等与企业经营活动相关的专业服务，帮助商家更好的发展，帮助政府更好对企业进行监管和扶持。目前，国内专注于企业领域的一些公司正在大力开展这方面的工作。（2）网络广告：利用大数据理论和技术，可深入分析网络广告的效果及其对商品销售等的影响、广告“读者”对之的反应等。（3）网络新闻、搜索引擎：利用大数据理论和技术，通过对网民阅读/搜索内容、习惯、爱好、行为、关键词等的深入分析，可为新闻门户网站的建设、搜25中国大数据技术与产业发展白皮书（2013）索引擎技术的改进、互联网舆情的监控与引导等提供依据。（4）旅行预订：网上预订旅行产品、旅行行程、车票机票等，已成为一项非常重要的互联网服务和应用，并因此聚集了大量的有关游客/乘客、景区/景点、宾馆/饭店等的数据，利用大数据理论和技术对此做深入、精细分析，可为更好地布局和推动我国旅游经济和假日经济的发展、更好地为游客提供旅游产品和旅游服务、更好地建设景区和景点等提供参考和依据。（5）即时通信、社交网络、博客微博：即时通信、社交网络、博客微博成为互联网时代民众新的通信、社交和发表见解手段，利用大数据理论和技术对此进行深入分析，可更好地发现民众新的交往习惯与方式、民众关注的社会问题与社会热点、民情民意，为改善互联网时代的通信和社交服务、更好地体察民情和改进社会管理等提供参考。（6）网络视频、网络音乐、网络游戏：网络视频、网络音乐、网络游戏等为互联网时代的民众带来了新的娱乐形式，带动了新的经济增长，当然也带来了网瘾、网络安全等问题，利用大数据理论和技术对此进行深入分析，可更好地发现民众新的娱乐形式和爱好、掌握青少年网游习性和规律，为更好地推出网络娱乐和网络游戏产品与服务、推动网游经济发展、保障青少年上网安全等提供依据。大数据分析在互联网上的一个重要应用就是基于用户的各种海量在线行为来分析用户的兴趣和需求。对于网络游戏来说，越来越多的游戏厂商也意识到了大数据分析的重要性，特别是对于游戏的研发和运营中的三个重要环节的作用，即降低用户获取成本，提高用户留存和提高用户付费率和付费额。他们开始建立实时大数据平台收集用户在游戏中的行为数据，通过分析理解每个用户如何玩游戏、他们的动机和潜在的价值，来调整游戏的设计，并对这些用户进行实时自动的营销，以更好的满足这些用户的需求。例如基于游戏内用户行为利用数据挖掘和机器学习算法对每个用户进行评估和分类，然后可以使用这些细分的用户类别，推送及时、相关和个性化的消息（如促销信息）来留住用户。同时基于行为数据对用户细分后，还可以进行跨游戏的用户营销，对不同的用户类型推送不同类型的游戏。面向游戏的大数据分析仍有三个挑战，第一关于数据质量，不同的游戏之间或者不同玩家的数据的预处理面临的问题是，接口不规范、杂乱无章导致数据比26中国大数据技术与产业发展白皮书（2013）较差，如何能够选出高质量的数据。第二个问题在用户的隐私和个性化之间找到一个平衡点，这对整个互联网上的用户行为分析来说都是有挑战的问题，这个挑战不光是技术，还有政策法规。第三个问题是未来跨设备、跨平台、跨应用的手机游戏，网页游戏和电视游戏将为用户提供更加无缝的娱乐体验，如何收集用户的完整的行为数据以了解他们的需求将是挑战性的任务，同时如何将大数据中的预测性分析技术应用于游戏分析，提供更加个性化的游戏成为未来的另一个方向。总之，通过对新兴的大数据理论和技术对互联网应用的分析，能够掌握行业现状、发现潜在问题、谋划未来发展，推动互联网和大数据这两大新兴领域的结合、互动，推动二者的共同繁荣。2.2网络通信与大数据对于“大数据”时代的到来，运营商普遍认为：随着信息成为企业战略资产，市场竞争要求越来越多的数据被长期保存，每天都会从管道、业务平台、支撑系统中产生大量有价值的数据，基于这些数据的商业智能应用将为运营商带来巨大的机遇。根据GSMA预测，2012年~2018年，全球移动数据流量将以每年50%的复合增长率增长。到2018年，全球移动数据流量将比2012年增加12倍。中国的发展更为迅速，2011年全国移动数据流量为5.77亿GB，预计到2013年底将达到14.13亿GB。在2012年一年时间，手机的数据流量同比增长119%，但流量的爆炸式增长也给运营商带来了前所未有的机遇与挑战。流量收入成为运营商最主要的新增长点，而语音则出现逐步下滑的局面。根据计世资讯预测，未来三年，中国电信业大数据应用市场将保持快速增长势头，到2015年，电信业大数据应用市场规模预计将达到18.3亿元。中国联通、中国移动、中国电信3大运营商加速推进大数据应用的具体举措见下表。表2-1：推动大数据应用的举措中国联通2012年底，中国联通已经成功将大数据和Hadoop技术引入到移动通信用户上网记录集中查询与分析支撑系统。当前，中国联通已经27中国大数据技术与产业发展白皮书（2013）新增100亿投资重庆大数据计划，显现了其发展大数据，转型自身业务的决心。中国移动中国移动在大云1.5平台上部署了分析型PaaS产品，利用BC-Hadoop构建大数据处理平台，并在英特尔至强＋Hadoop平台上运行，同时建设了并行数据挖掘系统（BC-PDM&ETL）以及商务智能平台（BI-PAAS）等大数据应用平台，为将来在大数据应用和服务市场做了充分准备。中国电信中国电信已经提出了“智慧城市”发展战略，其中很重要的技术结合点就是物联网和大数据。在“流量经营”方面，中国电信从“话务经营”向“流量经营”转型。结合大数据技术，中国电信也将深入IDC服务以及智慧城市建设，并发掘移动互联与之结合的商机，重塑转型之路。目前，中国移动企业信息化系列产品已经得到270万家企业客户的认可，广泛应用于金融、交通、物流、IT、制造等领域，随着企业信息化业务增长快速，中国移动充分利用自身在数据的获取、存储、分析等众多技术与应用的集合等方面的优势，为企业客户提供更为丰富和有针对性的信息化产品和解决方案。除了电话会议、视频会议、专网专线服务、无线宽带接入、集团V网、IDC数据中心等基础通信服务外，移动办公、会议助理、企业一卡通、移动财务等办公管理服务，移动400、商户管家、移动CRM等营销服务，M2M应用、视频监控、车务通等生产控制服务。仅以融合通信业务为例，这一新商用业务，截至当年10月收入达3.21亿元，客户覆盖了政府、教育、金融、电力、制造、公安、酒店等重点行业。2012年中国联通成功将大数据和Hadoop技术引入到“用户上网记录集中查询与分析支撑系统”，并已经部署了4.5PB的存储空间。系统已经具备了每天处理700亿条上网记录的能力，每天新增数据量达20多个TB，每年正以70%的速度在递增。通过该大数据项目，联通在全球运营商中率先提供了用户上网记录的清单查询服务，为移动互联网时代移动上网流量的明明白白消费提供了技术上的保证。同时，也为中国联通的移动互联网业务精细化运营、流量提升、移动网网络规划和优化提供了有效支撑。28中国大数据技术与产业发展白皮书（2013）从2009年开始中国电信成立的八大基地，在运营过程中都用到了大数据的概念。目前为止中国电信在全国拥有300座以上的机楼，计算能力已经超过了100万处理器核心，存储能力已经达到EB的级别，在北京、上海、广东、四川部署了集团级的资源池，而且这些资源池的能力还在不断的扩张。中国电信提出了大数据发展思路，并以综合平台、智能管道为依托，以丰富大数据为基础，聚焦重点大数据应用，特别是聚合更有价值的四大大数据商业应用模式，依托自身核心业务，以实现利润最大化。中国电信最有价值的大数据应用表现在四方面：语音数据分析、视频数据分析、流量分析、位置数据分析。1.利用大数据处理平台分析海量语音数据，建立呼叫中心测评体系和产品关联分析，为如保险公司等提供基于自动语音识别的大数据分析系统；2.基于智能图像分析能力的视频索引、搜索、摘要服务，从海量视频挖掘有价值的视频信息，提供公用视频图像分析，中国电信全球眼智能系统在智慧城市、平安社区、交通监管等领域大规模的使用；3.通过分析流量及协议信息，对一般性网络使用者的行为习惯分群组提供有针对性