大数据、云计算、物联网关键技术与未来

大数据与云计算的技术与未来CloudComputingDMT第一部分大数据时代的思维变革UPCBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大数据定义大数据(BigData)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为有价值的信息。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。UPC4一.认识大数据时代最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”大数据时代的生活令人神往，你对客观世界的认识更进了一步，所做的决策也不再仅仅依赖主观判断。甚至于你的一个习惯动作、你的一次消费行为、你的一份就诊记录，都正在被巨大的数字网络串联起来。移动互联网风潮汹涌。大数据正悄悄包围着我们。甚至连世界经济格局也在酝酿着巨大变革！UPC5《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。亚马逊前任首席科学家AndreasWeigend说：“数据是新的石油。”哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”UPC62012年3月份美国奥巴马政府发布了“大数据研究和发展倡议”，投资2亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路(InformationHighway)计划之后在信息科学领域的又一重大举措。2012年5月，联合国发表名为《大数据促发展：挑战与机遇》的政务白皮书中，指出大数据对于联合国和各国政府来说是一个历史性的机遇，还探讨了如何利用包括社交网络在内大数据资源造福人类。联合国的大数据白皮书还建议联合国成员国建设“脉搏实验室”“PulseLabs”网络开发大数据的潜在价值UPC7随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此2013年被许多国外媒体和专家称为“大数据元年”。当今“大社会”，三分技术，七分数据，得数据者得天下。UPC8《大数据时代：生活、工作与思维的大变革》一书的作者维克托·迈尔·舍恩伯格，如是说，“如果你是一个个人，如果你拒绝的话，可能会失去生命，如果是一个国家的话，拒绝大数据时代的话，可能失去这个国家的未来，失去一代人的未来。”这一句话恐怕不能算作耸人听闻，因为每当人们站在现在这个节点的时候，总会去眺望未来，但是未来往往在你不经意当中已经悄悄地来到你的身边。UPC9•硬件成本的降低•网络带宽的提升•云计算的兴起•网络技术的发展•智能终端的普及•电子商务、社交网络、电子地图等的全面应用•物联网大数据时代到来的必然性：UPC10大数据很抽象，表示数据规模的庞大。大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产、无线网络革命称为引领未来繁荣发展的重大技术变革。目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据的定义。UPC11维基百科给出的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。“3V”定义规模性（Volume）多样性（Variety）高速性（Velocity）“4V”定义价值性（Value）（IDC）UPC12全球网民平均每月使用流量（MB）11010010241024002000400060008000100001200019982000200320082014全球流量累计达到1EB（即10亿GB）的时间一年（2001）一个月（2004）一周（2007）一天（2013）一天产生的信息量可刻满1.88亿张DVD光盘全球网民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）UPC13我国网民数量居世界之首，每天产生的数据量也位于世界前列。淘宝网站单日数据产生量超过5万GB存储量4000万GB百度公司目前数据总量10亿GB存储网页1万亿页每天大约要处理60亿次搜索请求一个8Mbps的摄像头一小时能产生3.6GB的数据一个城市每月产生的数据达上千万GB医院一个病人的CT影像数据量达几十GB全国每年需保存的数据达上百亿GBUPC14大数据就如同蜜蜂，其主要价值是传播花粉，自己生产的蜂蜜价值并不大。2013年世界范围内狭义的大数据产业产值只有186亿美元，但广义的大数据应用几乎覆盖所有产业。据麦肯锡公司预测，开放数据仅在教育、保健等7个行业便可释放3.2万亿～5.4万亿美元的经济价值。UPCBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK不是随机样本，而是全体数据当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本=总体”。执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。UPC16二.大数据的应用领域天文学生物医学电子政务气候学企业管理教育学金融学市场营销公共服务商业智能传媒业生活娱乐天文学生物医学电子政务气候学企业管理教育学金融学市场营销公共服务商业智能传媒业生活娱乐总统选举总统选举情报学情报学图书馆学图书馆学UPC奥巴马的数据团队对数以千万计的选民邮件进行了大数据挖掘，精确预测出了更可能拥护奥巴马的选民类型，并进行了有针对性的宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。大数据帮助奥巴马成功实现连任UPC奥巴马的例子告诉我们，只要数据量够大，够及时，挖掘够深刻，我们完全可以洞悉每个选民的投票几率。迅速普及的互联网与移动互联网，悄然为记录人的行为数据提供了最为便利、持久的载体。最重要的是，在这些强大的数据收集终端面前，人们没有掩饰的意图，从而创造着过去无法收集与分析的海量数据，这让所有社会科学领域能够从宏观群体走向微观个体，让跟踪每一个人的数据成为了可能，从而让研究人性成为了可能。UPCBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK变革公共卫生2009年H1N1流行病毒背景下谷歌通过检测检索词条，处理了4.5亿个不同的数据模型，通过预测并与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，确定了45条检索词条组合，并将其用于一个特定的数学模型后，预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程，通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾病，信息滞后两周是致命的。而谷歌运用大数据技术，以前所未有的方式，通过海量数据分析得出流感所传播的范围，为世界预测流感提供了一种更快捷的预测工具。UPC20金融领域华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。UPC2140天，36亿人次。这是2014年春运的总时间和总出行人数。在这场堪称人类历史上最大规模的短期迁徙中，人群从哪儿去了哪儿？哪些线路最热门？在以往，这些问题可能难以精确回答。但随着技术进步，通过应用“大数据”这一技术利器，人们已经接近“在迷宫中感受全局”地看见春运的全景。大数据首次播报春运迁徙实况UPC22三.大数据时代的机遇和挑战机遇•大数据技术促进国家和社会发展•大数据蓝海成为企业竞争的新焦点•大数据时代呼唤创新型人才挑战•大数据技术的运用仍有困难•大数据给信息安全带来新挑战UPC23当前,大数据的应用只是冰山一角,绝大部分隐藏在表面之下。未来，大数据所带来的精彩值得期待！DMT第二部分势不可挡的云计算浪潮UPC云计算体验——方便您的生活多终端同步-透明PC/笔记本客户端浏览器PDA/手机/相机电子相册电视数据中心运算中心拍出的相片立即编辑修改在线编写文档、报告随时随地写日志随时随地的身体健康状况监控云UPC引言《纽约时报》租用亚马逊的云计算服务，使用基于云计算的开源软件Hadoop，将其自1851年以来的1100万份报道转变成可搜索的数字化文档，耗时仅一天。如果用传统方法，这项工作可能要数月才能完成。最近兴起的云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。云计算发展背景个人电脑：80年中期互联网：90年代初云计算：从现在开始移动互联网物联网智慧地球笔记本电脑上网本、智能手机RFID、传感器10亿20亿40亿万亿级需求推动、技术进步、商业模式变革照片视频文本音乐Facebook保存有800亿张照片，每秒有60万人次访问Youtube超过10亿个视频短片，每秒有1万人次观看（每天超过10亿人次）约需要20P（2千万G）以上空间超过4万台服务器桌面电脑UPC云计算浪潮势不可挡！！必须顺应时代的潮流~~UPCUPC一组数据——2012年，全球财富1000强企业中将有80%的使用云计算服务；到2015年，使用云计算的企业的比率有望提高到95%。——2013年，全球云计算市场规模将超1000亿美元。2020年，规模将达到1500亿元。——2011年，中国云计算服务市场规模315.54亿元，增长88.6%。——2012年，中国云计算服务市场规模将超过600亿元。2013年，将增长到1174.12亿元。2020/2/21InspurgroupUPC国外云计算发展现状公司名IaaSPaaSSaaS云计算技术和业务开展情况Amazon√√√将过剩的闲散IT资源整合起来为客户提供服务，提高资源利用率，增长新的利润增长点Google√√为搜索等互联网业务建立的低成本、高可扩展的数据处理平台。为了打击竞争对手Microsoft，推出了GoogleDoc等SaaS服务，为了与Amazon抗衡，同时提高资源利用率，将剩余资源开放出来提供PaaS服务.同时Google也是云计算技术的领导者SalesForce.com√√由原来卖软件license转型为出租软件的SaaS服务，进一步扩展到PaaS服务领域（Force.com）Facebook√√为用户提供社交网络服务，支撑系统采用低成本PC构建云计算平台进行照片存储、后台日志分析及智能推荐等，降低系统成本，增强竞争力。基于开源Hadoop开发了Hive系统，支持海量数据仓库应用。Microsoft√√√提供Azure解决方案，包括基于Windows的虚拟计算环境和存储、以及在此基础上提供的Live、.Net、SQL服务能力IBM√√√基于IB