云计算、大数据与物联网-CQWU

重庆文理学院CQWU云计算、大数据和物联网IT新技术马新强重庆文理学院CQWU重庆文理学院CQWU重庆文理学院CQWU云计算CloudComputingCQWU计算资源的演进：从集中到分散再到集中全世界只需要5台电脑就足够了——托马斯·沃森个人用户的内存只需640K足矣——比尔·盖茨计算时代网络时代云时代CQWU（1）数据在云端•不怕丢失•不必备份（2）软件在云端•不必下载•自动升级（3）无所不在的云计算•任何设备•登录后就是你的（4）无限强大的云计算•无限空间•无限速度业界趋势：云计算时代的到来CQWU1.用户输入查询关键字CloudComputing2.分布式预处理数据以便为搜索提供服务:–GoogleInfrastructure(thousandsofcommodityserversaroundtheworld)–MapReduceformassdataprocessing–GoogleFileSystem3.返回搜索结果互联网搜索：云计算的例子CQWU谷歌公司（Google.com）围绕因特网搜索创建了一种超动力商业模式。如今，他们又以应用托管、企业搜索以及其他更多形式向企业开放了他们的“云”。2010年4月，谷歌推出了谷歌应用软件引擎（GoogleAppEngine，下称GAE），这种服务让开发人员可以编译基于Python的应用程序，并可免费使用谷歌的基础设施来进行托管（最高存储空间达500MB）。对于超过此上限的存储空间，谷歌按“每CPU内核每小时”10至12美分及1GB空间15至18美分的标准进行收费。最近，谷歌还公布了提供可由企业自定义的托管企业搜索服务计划。CQWU亚马逊网站（Amazon.com）亚马逊网站是以在线书店和电子零售业起家的，如今已在业界享有盛誉，不过它最新的业务却与云计算有关。两年多以前，亚马逊作为首批进军云计算新兴市场的厂商之一，为尝试进入该领域的企业开创了良好的开端。亚马逊的云名为亚马逊网络服务（AmazonWebServices，下称AWS），目前主要由4块核心服务组成：简单存储服务（SimpleStorageService，S3）；弹性计算云（ElasticComputeCloud，EC2）；简单排列服务（SimpleQueuingService）以及尚处于测试阶段的SimpleDB。换句话说，亚马逊现在提供的是可以通过网络访问的存储、计算机处理、信息排队和数据库管理系统接入式服务。CQWU微软公司(Microsoft.com)在云计算的起步阶段，微软曾经历过不少周折。经过几年的磨合调整之后，这个软件巨头的云计算战略终于走上了正轨。根据有些厂商的预想，未来绝大部分的IT资源都将来自云计算，但微软却并不这么认为。几个月前，微软首席软件架构师（CSA）雷;奥兹（RayOzzie）曾表示，微软的宏伟计划是“提供均衡搭配的企业级软件、合作伙伴托管服务以及云服务”。简而言之，微软将其称为“软件加服务”（softwareplusservices）。微软将在今年推出的首批软件即服务产品包括DynamicsCRMOnline、ExchangeOnline、OfficeCommunicationsOnline以及SharePointOnline。每种产品都具有多客户共享版本，其主要服务对象是中小型企业。单客户版本的授权费用在5,000美元以上。针对普通用户，微软的在线服务还包括WindowsLive、OfficeLive和XboxLive等。CQWU中国移动云计算作为中国移动蓝海战略的一个重要部分，于2007年由移动研究院组织力量，联合中科院计算所，着手起步了一个叫做“大云”的项目。中移动的大云建设包括两个方向：一是基础架构建设。第二部分是平台及服务的建设。基于这两方面之上，中国移动将推出“软件即服务”，以便中小企业减少IT投入成本和IT运营复杂性，同时提供办公自动化解决方案。大云1.0版于2010年正式发布。以此为基础，中国移动将逐步展开云计算的商业化步伐。CQWU云计算——方便您的生活数据中心（多终端同步-透明）PC/笔记本客户端浏览器PDA/手机/相机电子相册电视运算中心拍出的相片立即编辑修改在线编写文档、报告随时随地写日志随时随地的身体健康状况监控云CQWU计算云——提供超大规模计算资源的服务器集群超大规模虚拟化（透明）云CQWU云计算的产生和演进计算能力的需求的增长CQWU云计算——中小企业的机遇创业前期成本大大降低IT硬件投入低按需租用CQWU云计算发展的障碍云计算目前的困境CQWU云计算何时从云端到地面标准不统一Google、Amazon、IBM、微软等的平台互不兼容两大巨头的“云计算”之争CQWU云计算何时从云端到地面数据真的安全？云服务提供商的信誉——留后门？！面临着全世界的黑客——需要高强度的安全系统美国“棱镜门”事件CQWUCQWU20密不可分的大数据与云计算商业模式驱动应用需求驱动云计算本身也是大数据的一种业务模式大数据是落地的云•云计算的模式是业务模式，本质是数据处理技术。•数据是资产，云为数据资产提供存储、访问和计算。•当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。CQWU21不知道BIGDATA?你out了!反对派认为，我们现在处在一个盲目的大数据崇拜时代CQWU22大数据的定义理解大数据相关技术与应用CQWU2321世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景CQWU24想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB=2^50字节1EB=2^60字节1ZB=2^70字节大数据时代的爆炸增长CQWU25“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据的4V特征CQWU26大数据=海量数据+复杂类型的数据海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。大数据的构成CQWU27大数据的定义理解大数据相关技术与应用CQWU281、密不可分的大数据与云计算商业模式驱动应用需求驱动云计算本身也是大数据的一种业务模式大数据是落地的云•云计算的模式是业务模式，本质是数据处理技术。•数据是资产，云为数据资产提供存储、访问和计算。•当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。CQWU292、大数据不仅仅是“大”多大？至少PB级比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值CQWU303、软件是大数据的引擎和数据中心（DataCenter）一样，软件是大数据的驱动力，软件改变世界CQWU314、大数据的应用不仅仅是精准营销通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象CQWU325、管理大数据“易”理解大数据“难”虽然大数据是一个重大问题，真正的问题是让大数据更有意义目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等CQWU33行业拓展者，打造大数据行业基石：IBM：•IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）;业务事件处理；IBMMashupCenter的计量，监测，和商业化服务（MMMS）•IBM的大数据产品组合中的最新系列产品的InfoSpherebigInsights，基于ApacheHadoop。•该产品组合包括：•打包的ApacheHadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案微软：•2011年1月与惠普（具体而言是HP数据库综合应用部门）合作目标是开发了一系列能够提升生产力和提高决策速度的设备。EMC：•EMC斩获了纽交所和Nasdaq；•大数据解决方案已包括40多个产品。Oracle：•Oracle大数据机与OracleExalogic中间件云服务器、OracleExadata数据库云服务器以及OracleExalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。大数据的应用——企业在投入CQWU34政府职能变革•重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；•在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；•在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；•解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；政府投入将形成示范效应，大大推动大数据的发展。大数据的应用——政府CQWU35•美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式”；•中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”难点：•1、在最初就合理规划智慧城市（深度思考哪些领域能够运用）；•2、在城市发展基础设施和“云产业”的同时，更多重视“数据”的价值；•3、在大数据处理领域的核心技术不足，需要政府更大的投入。