信息融合绪论.

信息融合技术主讲人：朱瑾课时量：36课时周次：3-11周办公地点：科研楼219室学时分配章内容参考学时1绪论32检测融合53参数估计64目标跟踪65基于统计的融合66估计融合57图像融合5主要参考资料主要参考资料1.图书•HandbookofMultisensorDataFusionTheoryandPractice.CRCPress,2008•多源信息融合韩崇昭清华出版社2006•多传感器信息融合及应用何友电子工业出版社•数据融合技术及其应用刘同明•数据融合理论与应用康耀红•多传感器数据融合及其应用杨万海•多传感器数据融合及其应用LawrenceAKlein主要参考资料•多尺度估计理论及其应用文成林等•信息融合理论及其在惯性/天文/GPS组合导航系统中的应用申功勋等•水下导航信息融合技术朱海等•数字图像融合覃征等•数字图像融合郭雷等•图像融合敬忠良等•图像多尺度几何分析理论与应用——后小波分析理论与应用焦李成等主要参考资料2.期刊与会议•国际信息融合年会；•SPIE国际年会；•IEEETrans.onAES，IT(InformationTheory)，AC，SMC(Systems,ManandCybernetics)，IP(ImageProcessing)，以及其它IEEE的相关会刊如智能交通等；•国内期刊主要参考资料2.期刊与会议•网上资源•国内：中国期刊网中国科学；电子学报；自动化学报；控制理论与应用•国际期刊：IEEETransactionsonAerospaceandElectronicSystemsIEEETransactionsonSignalProcessingInternationalJournalofInformationFusionJournalofAdvancesinInformationFusionIEEETransactionsonInformationTheory•国际会议：InternationalConferenceonInformationFusionIEEEConferenceonDecisionandControlIEEEConferenceonSystems,Man&Cybernetics成绩评定方法•平时成绩：40%平时成绩包括：到课情况、课堂表现、课程设计、文献翻译、分组讨论、课程论文等；•考试成绩：60%第1章绪论1.1信息融合的起源与一般概念1.2信息融合的模型分类与结构1.3信息融合的主要技术与方法1.4国内外研究现状1.1信息融合的起源与一般概念1.起源多传感信息融合（multi-sensorinformationfusion）又称为多源信息融合（multi-sourceinformationfusion），是20世纪70年代提出来的，军事应用是其诞生的源泉。信息融合也称数据融合(datafusion)，但就信息和数据的内涵而论，用信息融合一词更具概括性。因为信息包括数据，信号，知识等。我们在这里所讲的传感器也是广义的，不仅包括物理意义上的各种传感器系统，也包括与观测环境匹配的各种信息获取系统，甚至包括人或动物的感知系统。包括空域上的多传感的融合，也包括时域上单传感的融合，也包括多种方法的融合。1.1信息融合的起源与一般概念1.起源为什么要发展数据融合技术？􀂆20世纪70年代初，起源于军事，为了取得最佳的作战效果;􀂆信息化时代的信息特点及处理要求；（不确定性、不完整、不一致、及虚假数据；形式多样，数量巨大，关系复杂，实时处理）􀂆需要利用多源数据的互补性和计算机的高速计算和智能来提高结果信息的质量。1.1信息融合的起源与一般概念1.起源当检测对象为多目标或快速机动目标时，单一传感器测量困难。复杂的电磁环境使检测的目标信号淹没在大量噪声及不相关信号与杂波中。当单一传感器失效或传感器的可靠性有待提高时采用多传感器系统。环境复杂目标复杂可靠性1.1信息融合的起源与一般概念2.发展过程•萌芽于第二次世界大战中对飞机、轮船、潜艇和V-1导弹的导航制导，当时叫做组合导弹制导•美国：–70年代：多个连续的声纳信号－潜艇位置检测–1985年：JDL（实验室联合理事会）下设的C3I委员会成立了信息融合专家组（DFS），统一信息融合概念，建立信息融合公共参考框架–1988年：信息融合列为重点开发的20项关键技术之一，且为最优先发展的A类1.1信息融合的起源与一般概念–开发了多个系统，用于目标跟踪识别、态势评估与威胁估计：TCAC（军用分析系统）、TOP（海军战争状态分析系统）、TRWDS（目标获取与武器输送系统）、INCA（多平台多传感器跟踪信息相关处理系统）•国内：–1991年：海湾战争结束以后，数据融合技术引起国内有关单位和专家的高度重视–1995年：由国防科工委组织召开了第一次信息融合研讨会–1997年，国家自然科学基金把信息融合技术作为鼓励研究领域重点推出–目前：多源信息融合技术的研究已经引起了国家有关部门的高度重视，并列入了863计划位置估计和身份识别目前1995年海湾战争20世纪70年代1973年美国声纳信息融合研究现代化战争的警钟我国首次数据融合技术专题会议1.1信息融合的起源与一般概念1.1信息融合的起源与一般概念•国内：一些高校和科研院所相继对数据融合的理论、系统框架和融合算法开展了大量研究，但基本上处于理论研究的层次上，在工程化、实用化方面尚未取得有成效的突破，有许多关键技术问题尚待解决，在工程应用领域，需要开发出有重要应用价值的实用系统。1.1信息融合的起源与一般概念•学术界：–1997年：在美国成立了国际信息融合学会(ISIF:InternationalSocietyofInformationFusion)–各种学术会议和期刊：美国三军数据融合年会、SPIE国际年会，IEEETrans.onAES，IT(InformationTheory)，AC，SMC(Systems,ManandCybernetics)，IP(ImageProcessing)，以及其它IEEE的相关会议和会刊中。–目前国内出版了一批信息融合方面的专著，有大量学术期刊刊登信息融合方面的研究成果，2007年自动化学报还将出版信息融合专刊。1.1信息融合的起源与一般概念3.概念1.1信息融合的起源与一般概念3.概念多源信息融合：充分利用多个传感器资源，在空间和时间上把多渠道，多方位采集的局部环境的互补与冗余观测信息根据某种优化准则结合起来，以形成对系统环境的相对完整的一致性描述，形成新的融合结果，从而提高系统的有效性。•并不是一个新概念，人类识别环境或物体的状况的过程就是多个感知器所获得的信息进行融合的过程；•实际上是对人脑综合处理复杂问题的功能模拟1.1信息融合的起源与一般概念•功能定义：将来自多个传感器和信息源的数据和信息加以联合、相关、组合，以获得对目标精确的位置估计、身份估计、以及对战场情况和威胁及其重要程度进行适时的完整评价。•该定义的重点：–该定义是军事应用方面的功能性定义；–多个传感器对同一目标进行测量；–重点是融合：联合、相关、组合；–目的：状态估计、身份估计、态势估计、威胁估计。•技术定义：充分利用不同时间与空间的多传感器数据资源，采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行分析、综合、支配和使用。获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它各组成部分更为充分的信息。•该定义的重点：–方法：分析、综合、支配、使用；–目的：一致性解释与描述、更为充分的信息。1.1信息融合的起源与一般概念1.1信息融合的起源与一般概念4.信息融合优势：•增强系统生存能力；•扩展空间覆盖范围；•扩展时间覆盖范围；•提高观测的可信度；•降低信息的模糊度（不确定性）；•改进探测性能；•提高空间分辨率；•增加量测空间维数；•5.多传感器融合技术的应用目前，信息融合的应用领域已经从单纯军事上的应用渗透到许多民用领域中。如，工业中的柔性制造、故障诊断等领域，以及在医学、测量等领域中的图像分析与处理、目标监测与跟踪、气象预报、现代制造业等许多方面。应用在移动机器人和遥操作机器人上，主要利用距离、视觉、触觉、滑觉、热觉、接近觉、力与力矩等多种传感器来实现：机器人自定位、环境建模、地图与大地(地面)模型的建立、导航、避障或障碍物检测、路径规划或任务规划等。哈尔滨理工大学将基于Takagi-Sugeno模型的模糊神经网络的信息融合算法应用于移动机器人的避障运动中，南洋理工大学研究了一种自适应模糊神经鲁棒控制器，该控制器适用于多关节机器人的运动控制。1.1信息融合的起源与一般概念1.1信息融合的起源与一般概念应用领域a.军事应用是信息融合的来源和主要应用领域，主要包括多探测器环境下目标的检测、定位、跟踪与识别，以及在此基础上的态势评估与威胁估计技术，具体应用如自动目标识别、自主车辆导航、遥感、战场侦测、自动威胁识别等•表1信息融合军事应用1.1信息融合的起源与一般概念1.1信息融合的起源与一般概念b.民用领域•图像融合：检测、医疗诊断；遥感，环境与资源监测•智能机器人：对视频图像、声音、电磁等进行融合以实现高速、高精度控制以及推理判断－－ARPA的自主式行走的车辆，采用彩色TV摄像机、激光测距仪和声纳传感器等，用信息融合的方法对多种传感器信息进行并行处理与综合；外星探测车；•故障诊断：大型工业监控应用•智能交通系统：车辆导航、自动驾驶、自动规避防撞1.1信息融合的起源与一般概念多传感器数据融合应用目标识别航迹预测身份识别遥感威胁估计、战场侦测智能机器人图像融合故障诊断自主车辆导航智能交通1.2信息融合的模型分类与结构1.功能模型主要是JDL模型：美国三军组织—实验室理事联合会（JDL）数据融合模型(JointDirectorsofLaboratories)美国“数据融合联合实验室”在防御系统中通用的数据融合处理模型：数据融合分为五级：–第一个层次为检测/判决融合；–第二个层次为空间（位置）融合；–第三个层次为属性数据融合；–第四个层次为态势评估；–第五个层次为威胁估计。第一、二两个层次的数据融合适合于任意的多传感器数据融合系统，后三个层次主要适用于C3I（情报指挥控制与通讯）系统中的数据融合。1.2信息融合的模型分类与结构•第一级处理：目标评估（objectassessment）主要功能包括数据配准、数据关联、目标位置和运动学参数估计，以及属性参数估计、身份估计等，其结果为更高级别的融合过程提供辅助决策信息。传感器1传感器1传感器1预处理预处理预处理数据配准数据配准数据配准跟踪门数据关联定位运动学/属性参数估计身份估计＊量测文件＊传感器信息＊航迹文件一级处理中的对象评估模型数据配准：就是将时域上不同步，空域上属于不同坐标系的多源观测数据进行时空对准，从而将多源数据纳入一个统一的参考框架中，为数据融合的后期工作做铺垫。数据关联：主要处理分类和组合等问题身份估计：处理的是实体属性信息的表征与描述1.2信息融合的模型分类与结构跟踪：实现目标运动参数估计1.2信息融合的模型分类与结构•数据配准：将多源数据纳入一个统一参考框架（时间对准、坐标变换）•数据关联：处理分类与组合；•跟踪：实现目标运动参数估计；•身份估计：实现目标属性参数估计；这一级别属于数值计算过程，其中运动参数估计主要采用最优估计技术，属性参数估计主要是模式匹配技术，从简单的表决方法到统计方法（Bayes方法、证据理论）1.2信息融合的模型分类与结构二级处理：态势评估包括态势抽象与评定。•态势抽象：根据不完整的数据集构造综合态势表示，从而产生实体间的相互联系的解释；•态势评定：对产生观测事件的态势的表示与理解；•输入：事件检测、状态与身份估计；•输出：所考虑的各种假设的条件概率；1.2信息融合的模型分类与结构三级处理：影响评估/威胁估计•将当前态势映射到未来，对参与者设想或预测行为的影响进行评估。•例如：估计本方要害部位受攻击的脆弱性，敌方作战企图的估计目前对二、三级融合处理主要是基于知识的方法，远未