第一讲-多传感器目标检测的融合

目标跟踪与信息融合目标跟踪与信息融合火控雷达与系统教研室研究生课程目标跟踪与信息融合传感器武器系统武器选择数据融合多目标跟踪数据融合与理论形势数据库信息融合传感器传感器传感器目标探测跟踪目标探测跟踪目标检测与跟踪态势估计决策支持决策支持指挥控制目标跟踪与信息融合武器系统数据融合多目标跟踪态势估计数据融合与理论形势数据库指挥控制传感器决策支持武器选择信息融合决策支持传感器传感器传感器目标探测跟踪目标探测跟踪目标检测与跟踪多源异质大量质差对抗目标检测与身份判别（机动）目标跟踪数据关联与航迹融合信息融合：对多传感器或多源信息进行协调优化和综合处理，产生新的有价值的信息，以得到更准确、可信的结论。目标跟踪：就是利用传感器探测的目标信息来确定目标的位置和运动参数。位置类型结构数量分布目标跟踪与信息融合目的方法问题1.多传感器目标检测的融合2.概率推理与证据推理3.模糊推理4.目标跟踪模型5.机动目标跟踪6.数据关联7.多传感器航迹融合8.潜艇目标跟踪与信息融合本课程的主要内容目标跟踪与信息融合火控雷达与系统教研室第1讲目标跟踪与信息融合概论定义1信息融合就是由多种信息源如传感器、数据库、知识库和人类本身来获取有关信息，并进行滤波、相关和集成，从而形成一个表示构架，这种构架适合于获得有关决策、对信息的解释、达到系统目标（如识别或跟踪运动目标）、传感器管理和系统控制等。定义2多传感器信息融合是指利用计算机技术，对来自多种信息源的多个传感器观测的信息，在一定准则下进行自动分析、综合，以获得单个或单类信息源所无法获得的有价值的综合信息，并最终完成其最终任务的信息处理技术。一、信息融合的基本概念第1讲目标跟踪与信息融合概论一、信息融合的基本概念美国三军组织实验室理事联合会JDL（JointDirectorsofLaboratories）从军事角度给出的定义：定义3信息融合是一种多层次、多方面的处理过程，包括对多源数据进行检测、相关、组合和估计，以提高状态和身份估计的精度，以及对战场态势和威胁的重要程度进行适时完整的评价。定义的要点信息融合是多信源、多层次的处理过程，每个层次代表信息的不同抽象程度；融合过程包括数据的检测、关联、估计与合并；信息融合的输出包括低层次上的状态身份估计和高层次上的总战术态势的评估。信息的形式实时的或非实时的模糊的或确定的相互支持或互补互相矛盾或竞争不同层次第1讲目标跟踪与信息融合概论增加了系统的生存能力扩展了空间覆盖范围扩展了时间覆盖范围提高了可信度降低了信息的模糊度改善了探测性能提高了空间分辨率增加了测量空间的维数信息融合的优点目的决定方法，环境影响效果信息融合在军事上的应用绝大部分是在敌对的现实世界中进行的。被观测目标的特点对信息融合系统提出了较高的要求，如系统要有可变的响应特性，快速、精确的信息处理能力，必要时还要求人工干预等。第1讲目标跟踪与信息融合概论手鼻耳眼嘴记忆、先验知识规则、推理能力认知模拟人脑的综合处理信息能力，充分利用多个传感器共同或联合处理的优势，依据某种准则综合多个传感器在空间或时间上的冗余或互补信息，产生新的有价值的信息，从而得到被测对象的一致性解释或描述，提高传感器系统的有效性。二、信息融合的基本原理1、基本原理第1讲目标跟踪与信息融合概论二、信息融合的基本原理信息融合的体系2数据级融合结构特征级融合结构决策级融合结构目标身份估计1集中式结构分布式结构综合式结构目标状态估计第1讲目标跟踪与信息融合概论2、目标状态估计二、信息融合的基本原理集中式信息融合结构传感器A传感器C传感器B预处理预处理预处理数据调整与互连相关综合滤波跟踪分类目标状态目标分类第1讲目标跟踪与信息融合概论分布式信息融合结构数据调整与互连相关传感器A预处理跟踪分类传感器B预处理跟踪分类传感器C预处理跟踪分类2、目标状态估计二、信息融合的基本原理第1讲目标跟踪与信息融合概论3、目标身份估计(目标融合层次)二、信息融合的基本原理…数据关联或配准数据融合新数据或信息原始数据传感器1传感器2传感器N数据级融合示意图优点：能够保持尽可能多的原始数据和细微信息。缺点：①传感器的数据量太大，处理代价高、时间长、实时性弱、通信量大；②传感器原始信息的不确定性、不完全性和不稳定性等要求系统具有较强的纠错处理能力；③要求各传感器信息来自同质传感器，参与融合的数据具有相同的规格和物理含义。第1讲目标跟踪与信息融合概论特征级融合是中间层次的融和，先对各传感器的原始信息进行特征提取，然后进行综合分析和处理，得到融合后的特征，从而更有利于决策。特征级融合实现了信息压缩，有利于实时处理，并能最大限度地给出决策分析所需要的特征信息。3、目标身份估计(目标融合层次)二、信息融合的基本原理在多传感器信息融合中，特征级融合主要包括目标状态融合和目标属性融合。第1讲目标跟踪与信息融合概论3、目标身份估计(目标融合层次)二、信息融合的基本原理传感器1传感器2传感器N…数据关联状态估计目标状态数据配准数据配准数据配准…航迹文件（目标数据库）特征级目标状态融合第1讲目标跟踪与信息融合概论3、目标身份估计(目标融合层次)二、信息融合的基本原理特征级目标属性融合…特征关联联合识别目标属性特征提取特征提取特征提取…特征融合传感器1传感器2传感器N第1讲目标跟踪与信息融合概论传感器1传感器2传感器N…关联决策融合联合推断结果本地处理本地处理本地处理…3、目标身份估计(目标融合层次)二、信息融合的基本原理决策级融合第1讲目标跟踪与信息融合概论数据级融合特征级融合决策级融合处理信息量最大中等最小信息量损失最小中等最大抗干扰性能最差中等最好容错性能最差中等最好算法难度最难中等最易融合前处理最小中等最大融合性能最好中等最差对传感器的依赖程度最大中等最小三个层次的比较第1讲目标跟踪与信息融合概论4、JDL融合模型二、信息融合的基本原理数据预处理一级处理目标评估二级处理态势估计三级处理威胁估计人机接口数据源四级处理过程评估支持数据库融合数据库数据库管理系统第1讲目标跟踪与信息融合概论5、信息融合的一般过程二、信息融合的基本原理第1讲目标跟踪与信息融合概论6、信息融合的结构形式二、信息融合的基本原理传感器1输入传感器2输入传感器N输入传感器1传感器2传感器N…最终结果串联融合方式第1讲目标跟踪与信息融合概论6、信息融合的结构形式二、信息融合的基本原理传感器1输入传感器1传感器2传感器N…最终结果信息融合中心并行融合方式传感器2输入传感器N输入第1讲目标跟踪与信息融合概论5、信息融合的结构形式二、信息融合的基本原理传感器1输入传感器1传感器2传感器N…最终结果信息融合中心初级融合中心1初级融合中心2混合融合方式传感器2输入传感器N输入第1讲目标跟踪与信息融合概论三、信息融合的一般方法1.加权平均2.嵌入约束法：卡尔曼滤波、贝叶斯估计3.多贝叶斯方法4.统计决策理论5.证据组合法：概率统计方法、Dempster-Shafer证据推理法6.模糊逻辑法7.产生式规则法8.神经网络方法第1讲目标跟踪与信息融合概论信息融合要解决的六个关键问题三、信息融合的一般方法①信息转换在多传感器系统中，各传感器输出的信息格式、各传感器对目标和环境的描述等都是不一样的，为了能够把这些不同来源的信息进行融合，首先面临的问题就是要把它们转换成相同的格式，或者说对不同传感器的描述进行归一化处理，然后才能进行信息相关处理。②信息相关信息相关就是要对各传感器获得的信息进行关联处理。信息相关的核心问题之一是要克服传感器测量的不准确性和干扰等引起的相关二义性，即保持信息的一致性；另一个核心问题就是要控制和降低相关计算的复杂度，开发出合适的相关处理算法和模型。第1讲目标跟踪与信息融合概论信息融合要解决的六个关键问题③融合推理融合推理是进行信息融合的核心步骤，主要功能有：对传感器获得信息的取舍做出决定，显然不是传感器获得的所有信息都要进行融合处理；对同一传感器相继获得的信息进行综合和状态估计，并参照其他信息源的信息进行修改验证；对不同传感器的相关信息进行验证分析、归纳综合、协调修改和状态跟踪估计；对新发现的信息进行分析和综合，如是否需要建立新的目标航迹等；开展态势决策分析等。④数据库数据库不仅要及时存储当前各传感器的测量数据，并把它们及时提供给融合推理，还应向融合推理提供所需要的各种其他数据。与此同时，数据库还应存储融合推理的中间结果、最终态势和决策分析结果等。数据库既包含当前实时数据，还包括非实时的先验数据等。⑤信息安全军用信息融合系统汇集了各类传感器和信息源的信息，以及信息融合的中间数据和最终结果信息等，这些信息通常具有不同级别的保密要求和访问权限。信息融合系统在实现信息融合功能的同时，还必须保证这些信息的安全，能够让应该使用信息的用户及时访问、获取所需信息，同时又要限制用户的存取权限。第1讲目标跟踪与信息融合概论⑥系统评估在信息融合系统性能评估中用得较多的是各种重要的测量数据，如在评价系统的探测性能方面，主要有探测统计数据（探测概率以及虚警率）、关联品质（提取特征的精度）、系统反应时间等；在评价跟踪性能方面，主要有轨迹统计数据（能够跟踪的目标轨迹数目、漏掉的轨迹数目、伪轨迹数目、轨迹改变的数目等）、轨迹品质（特征质量、轨迹正确率、轨迹精确度）和反应时间（包括跟踪起始时间和跟踪结束时间）；在评价识别性能方面，主要有目标正确分类率、目标正确识别率等。信息融合要解决的六个关键问题第1讲目标跟踪与信息融合概论①未形成基本的理论框架和广义融合算法；②关联的二义性；③信息融合方法与融合系统实施存在的问题。目前存在的主要问题三、信息融合的一般方法第1讲目标跟踪与信息融合概论四、信息融合的应用实例工业过程监视及工业机器人空中交通管制与病人照顾系统生物特征的身份识别遥感与金融系统船舶避碰与交通管制系统数字化农业系统1、信息融合的民事应用第1讲目标跟踪与信息融合概论控制和信息融合计算机自主移动装配机器人装配机械手力觉传感器触觉传感器视觉传感器超声波传感器激光测距传感器多传感器信息融合自主移动装配机器人第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论农场监控中心实时监控农场信息，耕作者及时了解农场温度、光照度、土壤酸碱度等，以便对农作物的生长情况进行控制。第1讲目标跟踪与信息融合概论农场监控中心实时监控农场信息，耕作者及时了解农场温度、光照度、土壤酸碱度等，以便对农作物的生长情况进行控制。第1讲目标跟踪与信息融合概论四、信息融合的应用实例2、信息融合的军事应用采用多传感器的自主式武器系统和自备式运载器情报收集系统采用多传感器进行截获、跟踪和指挥制导的火控系统军事力量的指挥和控制站敌情指示和预警系统第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论一种雷达测量的信息融合结构传感器故障检测系统局部处理器局部处理器外部逻辑中央处理器传感器信号传感器信号先验信息修正信息先验信息修正信息第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论海军舰船传感器信息融合系统行扫描处理器红外探测器直流偏压AGC搜索器万向支架惯性导航系统图像摄像机万向支架图像处理共享存储器数据融合处理器环境控制显示记录人机界面图像摄像机传感器第1讲目标跟踪与信息融合概论第1讲目标跟踪与信息融合概论1、你为什么选择这门课？与你的论文选题有什么关系？2、你对这门课有什么认识和理解？3、你原本想从这门课中学到什么？4、你期望的教学方式是什么？五、结束语