第6讲数据融合

第六章数据融合西安工业大学计算机学院桂小林26.1物联网数据的特点1.数据的多态性、异构性异构多样化结构，来源广，表现方式不同，结构形式差异；2.数据的海量性高增长，随着物联网的发展，各种信息量几何级增长；3.关联性及语义性是指组织体系的要素，既具独立性，又具相关性，而具各要素和体系之间同样存在这种“相互关联或相互作用”的关系。桂小林36.1.1海量感知数据的挖掘与分析数据管理层是位于感知识别和网络构建层之上、应用层之下，体现物联网智慧的关键一层。如智能电网、智能交通、智能医疗等。这一层主要解决数据的储存、数据检索、数据使用、数据安全和隐私保护等主要问题。桂小林46.1.2海量数据存储海量数据存储是物联网技术的一个重要组成部分。本节将主要从基于文件的存储和基于记录的存储两方面介绍物联网系统中的海量数据存储技术。桂小林56.1.3基于文件的数据存储技术MapReduce是Google公司工程师JeffreyDean提出的处理大规模数据集（大于1TB）的分布式并行计算编程模型，是Google云计算的核心技术HDFS（HadoopDistributedFileSystem）是一种高度容错的分布式文件系统模型，由Java语言开发实现。HDFS可以部署在任何支持Java运行环境的普通机器或虚拟机上，而且能够提供高吞入量的数据访问。桂小林6HDFS桂小林7HDFS尽量读取客户机距离最近的节点副本，以降低读取时延。数据副本策略：桂小林86.1.4数据库存储技术数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今五十年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。桂小林91976年IBME.F.Codd发表了一篇里程碑的论文“R系统：数据库关系理论”，介绍了关系数据库理论和查询语言SQL。Oracle的创始人Ellison非常仔细地阅读了这篇文章，被其内容震惊，这是第一次有人用全面一致的方案管理数据信息。主要数据库：Oracle数据库是oracle公司(中文名叫甲骨文公司)的,还有SQL,Access；DB2是IBM的(中文名称是国际商务机器公司)。主流的关系数据库还有微软的SQLserver，Sybase公司的Sybase，(英孚美)软件公司的informix以及免费的MySQL等。桂小林106.1.5海量数据的快速检索技术1.文件检索Google、Baidu、2.图像检索Google图像搜索，即GoogleImage，是谷歌公司推出的一项允许用户搜索互联网上图片图像的服务。3.音频检索智能语音搜索irissiri是苹果公司在其产品iphone4S上应用的一项语音控制功能。siri可以令iphone4S变身为一台智能化机器人，利用siri用户可以通过手机读短信、介绍餐厅、询问天气、4.视频检索视频搜索引擎将在优酷、土豆、6间房、新浪播客等各大视频网站的全部视频中进行搜索查找。覆盖面广、速度快、精度高是本搜索引擎的优势，欢迎大家使用。6.2数据融合2019年10月29日数据融合概念是针对多传感器系统而提出的。在多传感器系统中，由于信息表现形式的多样性，数据量的巨大性，数据关系的复杂性，以及要求数据处理的实时性、准确性和可靠性，都已大大超出了人脑的信息综合处理能力，在这种情况下，多传感器数据融合技术应运而生。多传感器数据融合(Multi-SensorDataFusion，MSDF)，简称数据融合；也被称为多传感器信息融合(Multi-SensorInformationFusion，MSIF)。它由美国国防部在20世纪70年代最先提出，之后英、法、日、俄等国也做了大量的研究。近40年来数据融合技术得到了巨大的发展，同时伴随着电子技术、信号检测与处理技术、计算机技术、网络通信技术以及控制技术的飞速发展，数据融合已被应用在多个领域，在现代科学技术中的地位也日渐突出。2019年10月29日6.2.1数据融合的定义数据融合定义简洁的表述为：数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。2019年10月29日数据融合这一技术有3层含义:①数据的全空间，即数据包括确定的和模糊的、全空间的和子空间的、同步的和异步的、数字的和非数字的，它是复杂的多维多源的，覆盖全频段；②数据的融合不同于组合，组合指的是外部特性，融合指的是内部特性，它是系统动态过程中的一种数据综合加工处理；③数据的互补过程，数据表达方式的互补、结构上的互补、功能上的互补、不同层次的互补，是数据融合的核心，只有互补数据的融合才可以使系统发生质的飞跃。数据融合的实质是针对多维数据进行关联或综合分析，进而选取适当的融合模式和处理算法，用以提高数据的质量，为知识提取奠定基础。2019年10月29日2.数据融合研究的主要内容数据融合是针对一个网络感知系统中使用多个和(或)多类感知节点（如多传感器）展开的一种数据处理方法，研究的内容包含以下几个主要问题。1）数据对准。2）数据相关。3）数据识别，即估计目标的类别和类型。4）感知数据的不确定性。5）不完整、不一致和虚假数据.6)数据库。7)性能评估。6.2.2数据融合的体系结构2019年10月29日传感器间接信息信息收集初级滤波采集管理数据配准数据关联目标跟踪身份识别态势评估威胁评估优化控制数据管理系统态势数据库支持数据库一级处理二级处理三级处理四级处理图6-1数据融合的一般模型2019年10月29日6.2.3物联网中的数据融合1.物联网数据融合的意义和作用物联网(IoT)是利用射频识别(RFID)装置、各种传感器、全球定位系统（GPS）、激光扫描器等各种不同装置、嵌入式软硬件系统，以及现代网络及无线通信、分布式数据处理等诸多技术，能够协作地实时监测、感知、采集网络分布区域内的各种环境或监测对象的信息，实现包括物与物、人与物之间的互相连接，并且与互联网结合起来而形成的一个巨大信息网络系统。2.物联网数据融合所要解决的关键问题和要求2019年10月29日（1）物联网数据融合需要研究解决的关键问题1）数据融合节点的选择。融合节点的选择与网络层路由协议有密切关系，需要依靠路由协议建立的路由回路数据；并且使用路由结构中的某些节点作为数据融合的节点。2）数据融合时机。3）数据融合算法。（2）物联网数据融合技术要求物联网与以往的多传感器数据融合有所不同，具有它自己独特的融合技术要求。1)稳定性。2)数据关联。3)能量约束。4)协议的可扩展性。6.3数据融合的基本原理及层次结构2019年10月29日通过对多感知节点信息的协调优化，数据融合技术可以有效地减少整个网络中不必要的通信开销，提高数据的准确度和收集效率。因此，传送已融合的数据要比未经处理的数据节省能量，延长网络的生存周期。但对物联网而言，数据融合技术将面临更多挑战，例如，感知节点能源有限、多数据流的同步、数据的时间敏感特性、网络带宽的限制、无线通信的不可靠性和网络的动态特性等。因此，物联网中的数据融合需要有其独特的层次性结构体系。6.3.1数据融合的基本原理2019年10月29日1）多个不同类型的传感器（有源或无源的）采集观测目标的数据；2）对传感器的输出数据（离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取，提取代表观测数据的特征矢量；3）对特征矢量进行模式识别处理（例如：汇聚算法、自适应神经网络或其它能将特征矢量变换成目标属性判决的统计模式识别法等）完成各传感器关于目标的说明；4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；5）利用融合算法将每一目标各传感器数据进行合成，得到该目标的一致性解释与描述。6.3.2物联网中数据融合的层次结构2019年10月29日1.传感网节点的部署在传感网数据融合结构中，比较重要的问题是如何部署感知节点。目前，传感网感知节点的部署方式一般有3种类型，最常用的拓扑结构是并行拓扑。在这种部署方式中，各种类型的感知节点同时工作。另一种类型是串行拓扑，在这种结构中，感知节点检测数据信息具有暂时性。实际上，SAR(SyntheticApertureRadar)图像就属于此结构。还有一种类型是混合拓扑，即树状拓扑。2019年10月29日2.数据融合的层次划分数据融合大部分是根据具体问题及其特定对象来建立自己的融合层次。例如，有些应用，将数据融合划分为检测层、位置层、属性层、态势评估和威胁评估；有的根据输入输出数据的特征提出了基于输入/输出特征的融合层次化描述。数据融合层次的划分目前还没有统一标准。根据多传感器数据融合模型定义和传感网的自身特点，通常按照节点处理层次、融合前后的数据量变化、信息抽象的层次，来划分传感网数据融合的层次结构。6.3.3基于信息抽象层次的数据融合模型2019年10月29日1.像素级融合物体像素级融合传感器1传感器2传感器n特征提取识别一致性解释与描述图6-3像素级融合2019年10月29日2.特征级融合物体特征级融合传感器1传感器2传感器n特征提取识别一致性解释与描述特征提取特征提取图6-4特征级融合2019年10月29日3.决策级融合物体决策级融合传感器1传感器2传感器n特征提取识别一致性解释与描述特征提取特征提取识别识别6.4数据融合技术与算法2019年10月29日数据融合技术涉及到复杂的融合算法、实时图像数据库技术和高速、大吞吐量数据处理等支撑技术。数据融合算法是融合处理的基本内容，它是将多维输入数据在不同融合层次上运用不同的数学方法,对数据进行聚类处理的方法。就多传感器数据融合而言，虽然还未形成完整的理论体系和有效的融合算法，但有不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合算法。针对传感网的具体应用，也有许多具有实用价值的数据融合技术与算法。2019年10月29日6.4.1传感网数据传输及融合技术1．直接传输模型汇聚节点源节点源节点源节点源节点汇聚节点源节点源节点源节点源节点源节点源节点N5N4N1N2N32．多跳传输模型6.4.2多传感器数据融合算法2019年10月29日目前已有大量的多传感器数据融合算法，基本上可概括为两大类：一是随机类方法，包括加权平均法、卡尔曼滤波法、贝叶斯估计法、D-S证据推理等。二是人工智能类方法，包括模糊逻辑、神经网络等。不同的方法适用于不同的应用背景。神经网络和人工智能等新概念、新技术在数据融合中将发挥越来越重要的作用。6.4.3传感网数据融合路由算法2019年10月29日目前，针对传感网中的数据融合问题，国内外在以数据为中心的路由协议以及融合函数、融合模型等方面已经取得了许多研究成果，主要集中在数据融合路由协议方面。按照通信网络拓扑结构的不同,比较典型的数据融合路由协议有：基于数据融合树的路由协议、基于分簇的路由协议，以及基于节点链的路由协议。6.5物联网数据管理技术2019年10月29日在物联网实现中，分布式动态实时数据管理是其以数据中心为特征的重要技术之一。该技术通过部署或者指定一些节点作为代理节点，代理节点根据感知任务收集兴趣数据。感知任务通过分布式数据库的查询语言下达给目标区域的感知节点。在整个物联网体系中，传感网可作为分布式数据库独立存在，实现对客观物理世界的实时、动态的感知与管理。这样做的目的是，将物联网数据处理方法与网络的具体实现方法分离开来，使得用户和应用程序只需要查询数据的逻辑结构，而无须关心物联网具体如何获取信息的细节。6.5.1传感网数据管理系统2019年10月29日1.物联网数据管理系统的特点数据管理主要包括对感知数据的获取、存储、查询、挖掘和操作，目的就是把物联网上数据的逻辑视图和网络的物理实现分离开来，使用户和应用程序只需关心查询的逻辑结构，而无需关心物联网的实现细节。1）