46应用服务技术

第四章物联网关键技术——应用服务技术学习任务Clicktoaddtitleinhere①感知技术②标识技术③通信技术④网络技术⑤网络定位技术⑥应用服务技术⑦安全与隐私技术⑧硬件技术⑨电源和能量存储技术4.6应用服务技术物联网海量数据存储与查询123环境感知型中间件物联网数据融合45嵌入式软件云计算技术4.6.1物联网海量数据存储与查询•计算机网络的飞速发展导致全球信息总量迅猛增长，据统计2010年全球产生的达到1.2ZB（12亿TB），世界进入ZB时代。•IDC预测全球数据量从2010年到2015年5年将增长10倍。•而物联网中对象的数量将庞大到以百亿为单位。4.6.1物联网海量数据存储与查询•由于物联网中的对象积极参与业务流程的需求、高强度计算需求和数据的持续在线可获取的特性，导致了网络化存储和大型数据中心的诞生。•物联网对海量信息存储的需求促进了物联网网络存储技术、海量数据查询技术以及面向物联网的关系型数据库技术的发展。4.6.1海量数据存储及查询•现在的网络世界是海量数据的时代，物联网数据存储将使用数据中心的模式。•数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。•以一个典型数据中心（Google数据中心）加以说明。案例：Google数据中心（1）GFS（GoogleFileSystem）：一个可扩展的分布式文件系统（2）MapReduce：一种编程模型，用于大规模数据集的并行运算（3）BigTable：一个大型的分布式数据存储系统（1）GFS（GoogleFileSystem）•一个分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。•一个GFS系统包括一个主服务器（master）和多个块服务器（server），这样一个GFS可以同时为多个客户端应用程序提供文件服务。•文件被分为固定的块，由主服务器存放到块服务器的本地硬盘上。案例：Google数据中心•一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被许多客户（Client）访问。•主服务器存储文件系统所有的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。•GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。•它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。案例：Google数据中心Google数据中心谷歌文件系统（GoogleFileSystem，GFS）GFS的设计架构Google数据中心（2）MapReduce（映射、归约）大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分解成中间的Key/Value对，Reduce把Key/Value合成最终输出Output。这两个函数由程序员提供给系统，下层设施把Map和Reduce操作分布在集群上运行，并把结果存储在GFS上。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果再通过Reduce程序将结果汇整输出。Google数据中心Google数据中心MapReduce编程模型系统MapReduce程序的执行过程Google数据中心（3）BigTable•一种非关系型数据库，是一个稀疏的、分布的、持久化存储的多维度排序Map。•目的是快速可靠地处理PB级别的数据，并且能够部署到上千台机器上。•适用性强、可扩展、高性能、高可用性。Google数据中心BigTable分布式存储系统BigTable分布式存储系统4.6.2物联网数据融合•数据融合一词最早出现在20世纪70年代，它是人类模仿自身信息处理能力的结果，类似人类和其它动物对复杂问题的综合处理。•数据融合技术最早用于军事，目前，工业控制、机器人、空中交通管制、海洋监视和管理等领域也向着多传感器数据融合方向发展。4.6.2数据融合的基本概念1.数据融合的定义•数据融合技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。4.6.2数据融合的基本概念2.数据融合研究的主要内容•1）数据对准;•2）数据相关;•3）数据识别，即估计目标的类别和类型;•4）感知数据的不确定性;•5）不完整、不一致和虚假数据;•6）数据库;•7）性能评估。3.数据融合技术的产生背景数据融合技术的产生背景来自于数据融合的几个重要作用:•（1）节省能量•（2）获取更准确的信息•（3）提高数据收集效率4.6.2数据融合的基本概念4.6.2数据融合的基本概念•描述数据融合的体系结构的数据融合一般模型如下图。4.6.2物联网中数据融合的关键问题4.物联网数据融合所要解决的关键问题•①数据融合节点的选择。•②数据融合时机。•③数据融合算法。5.物联网数据融合技术要求•①稳定性;②数据关联;•③能量约束;④协议的可扩展性。4.6.2物联网数据融合的基本原理•通过对多感知节点信息的协调优化，数据融合技术可以有效地减少整个网络中不必要的通信开销，提高数据的准确度和收集效率。•因此，传送已融合的数据要比未经处理的数据节省能量，延长网络的生存周期。物联网数据融合示意图4.6.2物联网数据融合的基本原理数据融合主要关注一下五点:•1）多个不同类型的源节点(如有源或无源的传感器）采集观测目标的数据；•2）对源节点的输出数据（离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取，提取代表观测数据的特征矢量；4.6.2物联网数据融合的基本原理•3）对特征矢量进行模式识别处理（例如：汇聚算法、自适应神经网络或其它能将特征矢量变换成目标属性判决的统计模式识别法等）完成各传感器关于目标的说明；•4）将各源节点关于目标的说明数据按同一目标进行分组，即关联；•5）利用融合算法将每一目标各源节点数据进行合成，得到该目标的一致性解释与描述。4.6.2传感器网络数据融合技术数据融合结合网络的各个协议层来进行•在应用层，可通过分布式数据库技术，对采集的数据进行初步筛选，达到融合效果；•在网络层，可以结合路由协议，减少数据的传输量；•在数据链路层，可以结合MAC，减少MAC层的发送冲突和头部开销，达到节省能量目的的同时，还不失去信息的完整性。4.6.2数据融合的层次结构1.传感网节点的部署•目前，传感网感知节点的部署方式一般有3种类型，最常用的拓扑结构是并行拓扑。在这种部署方式中，各种类型的感知节点同时工作。•另一种类型是串行拓扑，在这种结构中，感知节点检测数据信息具有暂时性。SAR(SyntheticApertureRadar)图像就属于此结构。•还有一种类型是混合拓扑，即树状拓扑。4.6.2数据融合的层次结构2.数据融合的层次划分•数据融合大部分是根据具体问题及其特定对象来建立自己的融合层次。•根据多传感器数据融合模型定义和传感网的自身特点，通常按照节点处理层次、融合前后的数据量变化、信息抽象的层次，来划分传感网的数据融合的层次结构。4.6.2数据融合的层次结构数据融合可分为三类：①像素级融合•它是直接在采集到的原始数据层上进行的融合，在各种传感器的原始测报未经预处理之前就进行数据的综合与分析。数据层融合一般采用集中式融合体系进行融合处理过程。•这是低层次的融合，如成像传感器中通过对包含若一像素的模糊图像进行图像处理来确认目标属性的过程就属于数据层融合。4.6.2数据融合的层次结构像素级融合4.6.2数据融合的层次结构②特征层融合•特征层融合属于中间层次的融合，它先对来自传感器的原始信息进行特征提取(特征可以是目标的边缘、方向、速度等)，然后对特征信息进行综合分析和处理。•特征层融合的优点在于实现了可观的信息压缩，有利于实时处理，并且由于所提取的特征直接与决策分析有关，因而融合结果能最大限度的给出决策分析所需要的特征信息。4.6.2数据融合的层次结构特征层融合一般采用分布式或集中式的融合体系。特征层融合可分为两大类:一类是目标状态融合;另一类是目标特性融合。特征层融合4.6.2数据融合的层次结构③决策层融合•决策层融合通过不同类型的传感器观测同一个目标，每个传感器在本地完成基本的处理，其中包括预处理、特征抽取、识别或判决，以建立对所观察目标的初步结论。然后通过关联处理进行决策层融合判决，最终获得联合推断结果。决策层融合4.6.3云计算网络•云，是网络、互联网的一种比喻说法•2006年8月9日，谷歌执行总裁在搜索引擎大会（SESSanJose2006）上提出云计算（CloudComputing）的概念•亚马逊推出弹性计算云服务（ElasticComputeCloud，EC2）•云计算是分布式计算技术的一种，它是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。•云计算（CloudComputing）是分布式计算技术的一种，透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。（1）云计算简介（1）云计算简介•通俗的理解是，云计算的“云”就是存在于互联网上的服务器集群上的资源，它包括硬件资源（服务器、存储器、CPU等）和软件资源（如应用软件、集成开发环境等）•本地计算机只需要通过互联网发送一个需求信息，远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机，这样，本地计算机几乎不需要做什么，所有的处理都在云计算提供商所提供的计算机群来完成。（1）云计算简介•狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务。•比如亚马逊数据仓库出租生意。（1）云计算简介•广义的云计算指厂商通过建立网络服务器集群，向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。•广义的云计算包括了更多的厂商和服务类型，例如国内用友、金蝶等管理软件厂商推出的在线财务软件，谷歌发布的Google应用程序套装等。（1）云计算简介云计算的技术发展云计算（CloudComputing）是结合：–网格计算（GridComputing）–分布式计算（DistributedComputing）–并行计算（ParallelComputing）–效用计算（UtilityComputing）–自主计算（SelfComputing）–网络存储（NetworkStorage）、虚拟化（Virtualization）负载均衡（LoadBalance）等传统计算机和网络技术发展融合的产物。（1）云计算简介云计算未来主要发展方向：–手机上的云计算。–云计算时代资源的融合。–云计算的商业发展。（2）云计算系统的体系结构1.云计算逻辑结构•云计算平台是一个强大的“云”网络，连接了大量并发的网络计算和服务，可利用虚拟化技术扩展每一个服务器的能力，将各自的资源通过云计算平台结合起来，提供超级计算和存储能力。（2）云计算系统的体系结构(1)云用户端：•提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。(2)服务目录：•云用户在取得相应权限（付费或其他限制）后可以选择或定制的服务列表，也可以对已有服务进行退订的操作，在云用户端界面生成相应的图标或列表的形式展示相关的服务。（2）云计算系统的体系结构(3)管理系统和部署工具：•提供管理和服务，对用户授权、认证、登录进行管理，并可以管理可用计算资源和服务，根据用户请求并转发到相应的相应程序，调度资源智能地部署资源和应用。(4)监控：•监控和计量云系统资源的使用情况，