大数据应用案例

1大数据应用案例1物联网大数据应用由于遍布全球的众多传感器和智能设备，物联网触发了数据或大数据的淹没。只有大数据技术和框架才能处理这样庞大的数据量，这些数据量可以传输各种类型的信息。物联网的数量增长越多，就需要更多的大数据技术。在这个领域内，机构需要将重点转移到实时易于访问的丰富数据上。这些数据会影响客户群，并可通过挖掘产生有意义的结论。来自传感器的数据应该被处理以实时发现模式和见解，以推进业务目标。现有的大数据技术可以有效利用传入的传感器数据，将其存储起来，并使用人工智能进行高效分析。实际上，对于物联网处理，大数据是燃料而人工智能是大脑。物联网不仅是大数据的重要来源，还是大数据应用的主要市场。在物联网中，现实世界中的每个物体都可以是数据的生产者和消费者，由于物体种类繁多，物联网的应用也层出不穷。下面简述几种典型物联网大数据的使用案例。1.1车队管理许多运输公司都携带传感器来监控驾驶员的行为和车辆的位置。好的驾驶技能和道路安全行为得到保险公司的奖励。通过提供所有机械和电气组件的详细机器日志数据，物联网为远程信息处理提供了一个优势。全球物流公司UPS广泛使用该技术来监控车队车辆的速度，行驶里程，休息停靠，油耗，发动机使用情况等。因此，该公司减少了有害排放和燃料消耗。UPS快递为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器和GPS。同时，这些设备也方便了公司监督管理员工并优化行车线路。UPS为货车定制的最佳行车路径是根据过去的行车经验总结而来的。2011年，UPS的驾驶员少跑了近4828万公里的路程。1.2智慧城市智慧城市，是一个基于物联网大数据应用的热点研究项目，图1所示为基于物联网大数据的智能城市规划。迈阿密戴德县，就是一个智慧城市的样板。佛罗里达州迈阿密戴德县与IBM的智慧城市项目合作，将35种关键县政工作和迈阿密市紧密联系起来，帮助政府领导在治理水资源、减少交通拥堵和提升公共安全方面制定决策时获得更好的信息支撑。IBM使用云计算环境中的深度分析向戴德县提供智能仪表盘应用，帮助县政府各个部门实现协作化和可视化管理。智2慧城市应用为戴德县带来多方面的收益，例如戴德县的公园管理部门今年因及时发现和修复跑冒滴漏的水管而节省了100万美元的水费。图1基于物联网的智慧城市1.3农业基于物联网应用技术平台可以升级传统农业流程，对农作物的用药、灌溉、施肥及其相关畜牧业等实现实时监控，提高资源利用率，减少对环境的污染，特别是加强农作物疾病监控与常见传染性疫情预警，在保证农作物增产率的同时提高生产经济效益，从而实现农业现代化高效经营和可持续发展。约翰迪尔是一家销售农场设备的跨国公司。它监测各种参数，如土壤湿度水平等。数据发送到一个集中管理平台，根据湿度水平，可以提醒农民何时进行灌溉。这可以防止不必要的灌溉，避免特定地区的水资源集中。1.4卫生保健可穿戴式健身追踪器和医疗应用程序帮助人们监控他们的健康状况。来自这些设备的数据可用于追踪如血压，糖水平等参数，以及预先诊断感染疾病的可能性。Preventice公司整合了应用程序，手机，笔记本电脑，平板电脑和云等，用于远程病人监控。该公司允许客户的医生在线监测其健康状况，以避免常规检查。Proteus是一家初创公司，其药丸中含有传感器，可用于检查患者是否遵医嘱。32基于大数据的智能交通信息通讯技术的发展，使交通运输从数据贫乏转向数据丰富的大数据时代，北京市6万余辆出租车一天就会产生数亿条GPS数据，车牌识别、交通监控视频等数据量更大，交通相关的数据量级已从TB级别跃升到PB级别，对智能交通系统的运营和管理产生了巨大影响。面对众多的交通大数据，如何对其进行准确、高效的处理和分析及预测，挖掘其中蕴含的深层应用，做出即时和正确的交通诱导和疏通以有效改善实际交通拥堵状况成为智能化交通信息处理分析的核心内容。交通大数据与传统交通数据的不同主要体现在特征中。结合交通大数据的基本类型，认为交通大数据具有6V特征，具体如表1所示。表1交通大数据的特征特征描述Volume：体量巨大结构化数据和非结构化数据的广泛来源与长期存储Velocity：处理快速交通流具有时变性，交通管理与服务具有时效性，需要较快的数据处理速度Variety：模态多样数据来源广泛、类型丰富，交通系统具有多状态特征Veracity：真假共存数据存在缺失、错误、冗余等异常现象Value：价值丰富具有时间、空间、历史等多维特征，是多元服务的基础Visualization：可视化交通运行状态、城市路网特性等需要可视化的展现数据是智能交通系统的基础，交通数据采集手段和处理方法的深度革新将引领智能交通系统的变革。目前，国际智能交通领域的车路协同系统、公众出行便捷服务、车联网等热点技术领域都在广泛研究和应用大数据技术。交通大数据的应用对交通的发展将带来巨大的变化，这主要体现在大数据技术的实时性、分布性、高效性及预测性方面。１）实时性。传统的海量数据模糊查询和统计分析无法达到交通实时性的需求，大数据能够实时地对交通大数据分析、处理，提供秒级响应，帮助人们在海量的交通数据中快速发现交通异常，并定位症结，方便交通管理，使交通运行得更加合理。２）分布性。传统的数据应用多为单表挖掘分析，一旦涉及到跨表关联就会因效率问题而无能为力，大数据的分布式并行处理擅长复杂的块表关联分析，推4动数据串并关联，提高数据处理能力，支撑高并发多用户访问，协同人们在交通紧急事件中多方协作、快速处置。３）高效性。高效的交通大数据挖掘能力，能够快速发现海量交通数据中的内在关联规律，进而提高交通运营效率以及路网的通行能力。伦敦市利用大数据减少了交通拥堵时间，提高了交通运转效率。４）预测性。大数据技术较高的预测能力可降低交通状态误报和漏报的概率，通过建立区域交通状态的监测及预测模型，共享交通运行与路况环境数据，随时对交通的动态性进行实时监控，帮助驾驶者及用户预先了解交通拥堵状况，避开拥堵路段。大数据对交通的巨大影响除了以上几个方面外，对交通环境的安全性也有巨大影响。大数据的实时性和可预测性以及综合的决策模型有助于提高交通安全系统的数据处理能力。大数据快速整合各个传感器数据，结合车辆运行轨迹数据，综合分析车辆行驶安全性，为应急决策提供辅助，提高应急救援能力，有效降低交通事故的发生。由此可见，大数据技术的出现及应用能够有效地解决智能交通面临的诸多难题。53企业内部大数据应用目前，大数据的主要来源和应用都是来自于企业内部，商业智能（businessintelligence,BI）和OLAP可以说是大数据应用的前辈。企业内部大数据的应用，可以在多个方面提升企业的生产效率和竞争力。具体而言：市场方面，利用大数据关联分析，更准确地了解消费者的使用行为，挖掘新的商业模式；销售规划方面，通过大量数据的比较，优化商品价格；运营方面，提高运营效率和运营满意度，优化劳动力投入，准确预测人员配置要求，避免产能过剩，降低人员成本；供应链方面，利用大数据进行库存优化、物流优化、供应商协同等工作，可以缓和供需之间的矛盾、控制预算开支，提升服务。在金融领域，企业内部大数据的应用得到了快速发展。例如，招商银行通过数据分析识别出招行信用卡价值客户经常出现在星巴克、DQ、麦当劳等场所后，通过“多倍积分累计”“积分店面兑换”等活动吸引优质客户；通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点；通过对客户交易记录进行分析，有效识别出潜在的小微企业客户，并利用远程银行和云转介平台实施交叉销售，取得了良好成效。当然最典型的应用还是在电子商务领域，每天有数以万计的交易在淘宝上进行，与此同时相应的交易时间、商品价格、购买数量会被记录，更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配．淘宝数据魔方是淘宝平台上的大数据应用方案，通过这一服务，商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此进行生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格买到更心仪的宝贝。而阿里信用贷款则是阿里巴巴通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。据透露，截至目前阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。64大数据在金融领域应用金融领域一直较为重视大数据技术的发展。相比常规商业分析手段，大数据可以使业务决策具有前瞻性，让企业战略的制定过程更加理性化，实现生产资源优化分配，依据市场变化迅速调整业务策略，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的利润。4.1大数据在金融领域典型应用场景在银行业的应用主要表现在两个方面：一是信贷风险评估。以往银行对企业客户的违约风险评估多基于过往的信贷数据和交易数据等静态数据，内外部数据资源整合后的大数据可提供前瞻性预测。二是供应链金融。利用大数据技术，银行可以根据企业之间的投资、控股、借贷、担保及股东和法人之间的关系，形成企业之间的关系图谱，利于企业分析及风险控制。在证券行业的应用主要表现为：一是股市行情预测。大数据可以有效拓宽证券企业量化投资数据维度，帮助企业更精准地了解市场行情，通过构建更多元的量化因子，投研模型会更加完善。二是股价预测。大数据技术通过收集并分析社交网络如微博、朋友圈、专业论坛等渠道上的结构化和非结构化数据，形成市场主观判断因素和投资者情绪打分，从而量化股价中人为因素的变化预期。三是智能投资顾问。智能投资顾问业务提供线上投资顾问服务，其基于客户的风险偏好、交易行为等个性化数据，依靠大数据量化模型，为客户提供低门槛、低费率的个性化财富管理方案。在互联网金融行业的应用，一是精准营销。大数据通过用户多维度画像，对客户偏好进行分类筛选，从而达到精准营销的目的。二是消费信贷。基于大数据的自动评分模型、自动审批系统和催收系统可降低消费信贷业务违约风险。4.2金融大数据的典型案例分析为实时接收电子渠道交易数据，整合银行内系统业务数据。中国交通银行通过规则欲实现快速建模、实时告警与在线智能监控报表等功能，以达到实时接收官网业务数据，整合客户信息、设备画像、位置信息、官网交易日志、浏览记录等数据的目的。该系统通过为交通银行卡中心构建反作弊模型、实时计算、实时决策系统，帮助拥有海量历史数据，日均增长超过两千万条日志流水的银行卡中心，形成电子渠道实时反欺诈交易监控能力。利用分布式实时数据采集技术和实时决策引擎，帮助信用卡中心高效整合多系统业务数据，处理海量高并发线上行为数据，识别7恶意用户和欺诈行为，并实时预警和处置；通过引入机器学习框架，对少量数据进行分析、挖掘构建并周期性更新反欺诈规则和反欺诈模型。系统上线后，该银行迅速监控电子渠道产生的虚假账号、伪装账号、异常登录、频繁登录等新型风险和欺诈行为；系统稳定运行，日均处理逾两千万条日志流水、实时识别出近万笔风险行为并进行预警。数据接入、计算报警、案件调查的整体处理时间从数小时降低至秒级，监测时效提升近3000倍，上线3个月已帮助卡中心挽回数百万元的风险损失。百度的搜索技术正在全面注入百度金融。百度金融使用的梯度增强决策树算法可以分析大数据高维特点，在知识分析、汇总、聚合、提炼等多个方面有其独到之处，其深度学习能力利用数据挖掘算法能够较好地解决大数据价值密度低等问题。百度“磐石”系统基于每日100亿次搜索行为，通过200多个维度为8.6亿账号精确画像，高效划分人群，能够为银行、互联网金融机构提供身份识别、反欺诈、信息检验、信用分级等服务。该系统累计为百度内部信贷业务拦截数十万欺诈用户，拦截数十亿不良资产、减少数百万人力成本，累计合作近500家社会金融机构，帮助其提升了整体风险防控水平。85在线社交网络大数据应用在线社交网络，是一种在信息网络上由社会个体集合及个体之间的连接关系构成的社会性结构。在线社交网络大数据主要来自即时消息、在线社交、微博和共享空间４类应用。由于在