物联网数据融合及管理

第九章物联网数据融合及管理魏旻重庆邮电大学重庆邮电大学第9章物联网数据融合及管理•数据融合与管理是支撑物联网广泛应用的关键技术之一，在物联网技术体系中具有重要地位和作用。但鉴于物联网感知节点能源有限、数据的时间敏感特性、网络的动态特性等特点，物联网数据融合技术将面临更多挑战。教学要求知识要点能力要求数据融合的基本概念(1)了解数据融合的发展(2)理解数据融合的定义(3)了解数据融合的特点数据融合的基本原理(1)理解数据融合的体系结构(2)了解数据融合技术的主要方法(3)了解数据融合模型物联网的数据融合(1)了解物联网数据融合的作用(2)理解传感网数据融合的基本原理(3)了解基于信息抽象层次的物联网数据融合模型物联网数据管理(1)了解物联网数据管理的特点(2)理解传感网数据管理系统结构重庆邮电大学PPT素材下载：数据融合概述9.2数据融合的基本原理9.4物联网数据管理技术9.3物联网中的数据融合技术目录重庆邮电大学9.1数据融合概述9.1.1数据融合的发展数据融合一词最早出现在20世纪70年代，并于20世纪80年代发展成一项专门技术。它是人类模仿自身信息处理能力的结果，类似人类和其它动物对复杂问题的综合处理。数据融合技术最早用于军事，1973年美国研究机构就在国防部的资助下，开展了声纳信号解释系统的研究。目前，工业控制、机器人、空中交通管制、海洋监视和管理等领域也向着多传感器数据融合方向发展。物联网概念的提出，数据融合技术将成为其数据处理等相关技术开发所要关心的重要问题之一。物联网数据融合概念是针对多传感器系统而提出的。在多传感器系统中，由于信息表现形式的多样性、数据量的巨大性、数据关系的复杂性以及要求数据处理的实时性、准确性和可靠性都已大大超出了人脑的信息综合处理能力，在这种情况下，多传感器数据融合技术应运而生。重庆邮电大学9.1数据融合概述近40年来数据融合技术得到了巨大的发展，同时伴随着电子技术、信号检测与处理技术、计算机技术、网络通信技术以及控制技术的飞速发展，数据融合已被应用在多个领域，在现代科学技术中的地位也日渐突出。通过信息融合技术可以扩展战场感知的时间和空间的覆盖范围，变单源探测为网络探测，对多源战场感知信息进行目标以检测、关联/相关、组合，获得精确的目标状态和完整的目标属性/身份估计，以及高层次的战场态势估计与威胁估计，从而实现未来战争中陆、海、空、天、电磁频谱全维战场感知。重庆邮电大学9.1数据融合概述军事需求：随着新型武器（精确制导、远程打击等）的出现→战场范围扩大（五维空间）→必须应用多传感器系统：微波、毫米波、电视、红外、激光、电子支援措施（ESM），以及电子情报技术→提供观测数据→优化综合→实现：TMD：战区导弹防御系统（theatermissiledefensesystem）C4ISR实时发现目标获取目标状态估计识别目标属性分析行为意图态势评估威胁分析提供火力控制、精确制导、电子对抗、作战模式和辅助决策等作战信息重庆邮电大学9.1数据融合概述9.1.2数据融合的定义数据融合被多领域频繁应用、滥用，由于所研究内容的广泛性和多样性造成了统一定义较为困难！首先美国国防部三军实验室理事联席会(JDL)的对信息融合技术的定义为：信息融合是一个对从单个和多个信息源获取的数据和信息进行关联、相关和综合，以获得精确的位置和身份估计，以及对态势和威胁及其重要程度进行全面及时评估的信息处理过程。后来，JDL将该定义修正为：信息融合是指对单个和多个传感器的信息和数据进行多层次、多方面的处理，包括：自动检测、关联、相关、估计和组合。当前，数据融合定义简洁的表述为：数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。重庆邮电大学9.1数据融合概述数据融合这一技术有3层含义:①数据的全空间，即数据包括确定的和模糊的、全空间的和子空间的、同步的和异步的、数字的和非数字的，它是复杂的多维多源的，覆盖全频段；②数据的融合不同于组合，组合指的是外部特性，融合指的是内部特性，它是系统动态过程中的一种数据综合加工处理；③数据的互补过程，数据表达方式的互补、结构上的互补、功能上的互补、不同层次的互补，是数据融合的核心，只有互补数据的融合才可以使系统发生质的飞跃。数据融合的实质是针对多维数据进行关联或综合分析，进而选取适当的融合模式和处理算法，用以提高数据的质量，为知识提取奠定基础。因此，数据融合需要解决数据对准；数据相关；数据识别，即估计目标的类别和类型；感知数据的不确定性；不完整、不一致和虚假数据；数据库；性能评估等技术问题。重庆邮电大学9.1数据融合概述9.1.3数据融合的应用应用...军事实时发现目标获取目标状态估计识别目标属性作战信息态势评估提供火力控制、精确制导、电子对抗、作战模式和辅助决策等作战信息医疗机器人利用机器人完成工业监控、水下作业、高压作业等危险环境作业。对复杂的病情可通过多种传感器信息，如X射线图像、核磁共振等对人体的病变、异常进行识别，确定病人的病情重庆邮电大学PPT素材下载：数据融合概述9.2数据融合的基本原理9.4物联网数据管理技术9.3物联网中的数据融合技术目录重庆邮电大学9.2数据融合的基本原理9.2.1数据融合的体系结构数据融合是一种多层次、多方位的处理过程，需要对多种来源数据进行检测、相关和综合以进行更精确的态势评估。数据融合一般可以分为数据级融合、特征级融合和决策级融合等3个层次。数据融合数据级融合：在原始数据层上进行融合，优点：保持了尽可能多的信息；缺点：信息量大、实时性差数据级融合：在中间层上进行融合，进行原始信息特征提出。优点：有可观的信息压缩，有利于实时处理；缺点：信息不完整，可能导致结果不准确决策级融合：在高层次上进行融合，融合结果为决策作为依据。优点：灵活性高、带宽要求低、容错性高、抗干扰能力强；判决精度低，误判率升高重庆邮电大学9.2数据融合的基本原理融合层次性能详细比较比较的项目数据级特征级决策级信息量最大中等最小信息损失最小中等最大容错性最差中等最好抗干扰性最差中等最好对传感器依赖性最大中等最小融合方法最难中等最易预处理最小中等最大分类性质最好中等最差系统开放性最差中等最好重庆邮电大学9.2数据融合的基本原理数据融合的一般模型可分为四级，如图所示。数据融合的一般模型一级处理相当于最低层次的数据级融合。它对来自于同等量级的传感器原始数据直接进行融合，有了融合的传感器数据之后就可以完成像单传感器一样的识别处理过程。重庆邮电大学9.2数据融合的基本原理二级处理相当于中间层次的特征级融合。它利用从传感平台的原始信息中提取的特征信息进行综合分析和处理。二级处理可实现战场信息的大幅压缩，有利于实时处理，融合结果能最大限度地给出作战决策分析所需的特征信息。三级处理相当于最高层次的决策级融合，通过关联处理进行决策层融合判决，最终获得联合推断结果。四级处理是利用获得的联合推断结果进行反馈控制，或调整信息收集方法。只有在具有反馈环节的系统中才会用到四级处理。重庆邮电大学9.2数据融合的基本原理9.2.2数据融合技术的理论方法数据融合的关键问题是模型设计和融合算法，数据融合模型主要包括功能模型、结构模型和数学模型。(1)信息融合的功能模型最有权威性的是DFS(DataFusionSubanal，数据融合专家组)提出的功能模型。该模型把数据融合分为3级（图见下一页）:第一级是单源或多源处理，主要是数字处理、跟踪相关和关联；第二级是评估目标估计的集合，及根据它们彼此和背景的关系来评估整个情况；第三级用一个系统的先验目标集合来检验评估的情况。重庆邮电大学9.2数据融合的基本原理图9-2C3I技术委员会(TPC3)数据融合专家组提出的功能模型情报收集传感器电子情报通信情报国家情报SAR间接情报初级处理时间（配准）空间（配准）类型特征收集管理信息有效性传感器任务分配任务优先级一级处理数据校准空间参数点时间参数点度量标准关联相关跟踪目标所历位置未来位置识别模拟法其他二级处理态势估计环境估计总态势敌目标三级处理威胁估计致命点估计红/蓝军幅成迹象与警报武器对抗DBMS数据库管理系统态势数据库动态目标航迹支持数据库环境军事命令技术支持人机接口交互界面图形评估性能测量维护（改进）重庆邮电大学9.2数据融合的基本原理(2)信息融合的结构模型数据融合的结构模型有多种不同的分类方法，其中一种分类标准是根据传感器数据在送入融合处理中心之前已经处理的程度来进行分类。在这种分类标准下，融合结构被分为传感器级数据融合，中央级数据融合及混合式融合，还可以根据数据处理过程的分辨率来对融合结构进行分类。在这种情况下，融合结构为像素级、特征级和决策级融合。(3)多传感器信息融合实现的数学模型信息融合的方法涉及多方面的理论和技术，如信号处理、估计理论、不确定性理论、模式识别、最优化技术、模糊数学和神经网络等方面。目前，这些方法大致分为两类：随机类方法和人工智能方法。一是随机类方法，包括卡尔曼滤波法、贝叶斯估计法、D-S证据推理等。二是人工智能类方法，包括小波变换、模糊逻辑、神经网络等。不同的方法适用于不同的应用背景。神经网络和人工智能等新概念、新技术在数据融合中将发挥越来越重要的作用。重庆邮电大学9.2数据融合的基本原理融合方法信息表示融合技术适用范围加权平均原始读数值中等低层数据融合卡尔曼滤波概率分布中等低层数据融合贝叶斯估计概率分布中等高层数据融合统计决策理论概率分布中等高层数据融合证据推理命题中等高层数据融合模糊理论命题中等高层数据融合神经元网络神经元输入中等低/高层生产式规则命题中等高层数据融合常用的数据融合方法比较重庆邮电大学9.2数据融合的基本原理9.2.3数据融合模型介绍数据融合模型为数据融合算法的组合、硬件架构的搭设、目标功能的明确、工作人员的分工提供了依据。(1)情报环模型这个模型将数据融合理解为情报处理过程，其中包括两个部分：信息处理和信息融合。情报环中一种经典的模型UK情报环:整理阶段采集阶段评估阶段分发阶段UK情报环（1)采集阶段：通过传感器感知及专家系统提供先验知识对信息进行采集；（2)整理阶段：对收集上的信息和相应的情报报告进行关联，接着进行数据的简单合并、去冗余、压缩并进行压縮，为下一步融合做好准备；（3)评估阶段：分析上个阶段得到的信息将其传到下个阶段，同时指导釆集阶段的工作；（4)分发阶段：将融合后的数据信息分发给用户（往往是决策者)，以便进行最后的决策或者对融合过程进行修正。重庆邮电大学9.2数据融合的基本原理(2)JDL模型这个模型是有美国国防部所成立的数据融合实验室理事联合会提出的，是美国军方信息融合的标准。采样优化目标识别数据联合态势估计衡量各种关系威胁评估总体评估威胁、风险和影响过程评估人机界面信息源传感器先验知识数据库•信息源：包括传感器及相关数据（数据库和先验知识）•源数据预处理：进行数据的预筛选和数据分配，以减轻融合中心的计算负担，并为融合中心提供最重要的数据。JDL模型：主要由数据源、数据预处理、一级处理（目标评估）、二级处理（态势估计)、三级处理（威胁估计）、四级处理（过程评估）、数据库支持及人机接口等模块组成。重庆邮电大学9.2数据融合的基本原理采样优化目标识别数据联合态势估计衡量各种关系威胁评估总体评估威胁、风险和影响过程评估人机界面信息源传感器先验知识数据库采样优化目标识别数据联合态势估计衡量各种关系威胁评估总体评估威胁、风险和影响过程评估人机界面信息源传感器先验知识数据库采样优化目标识别数据联合态势估计衡量各种关系威胁评估总体评估威胁、风险和影响过程评估人机界面信息源传感器先验知识数据库•态势评估：检测当前的环境推断出检测目标与事件之间的关系，以判断出检测目标的意图（ex：ATMS+D-S，意图逻辑）•目标评估：融合目标的位置、速度、身份等参数，以达到对这些参数的精确表达，主要包括数据配准、跟踪和数据关