多源信息融合理论与技术发展

多源信息融合目录一、多源信息融合的一般概念与定义二、信息融合的社会需求三、信息融合系统的模型和结构四、多源信息融合主要技术和方法五、发展起源、现状与未来自然界异类多传感信息融合演绎活动大脑记忆先验知识规则推理能力眼睛耳朵舌头鼻子手自然界同类多传感信息融合左目和右目的视觉传感器分别获取二维图象信息，经大脑融合后产生立体图象信息左耳和右耳的听觉传感器分别获取一维声音信息，经大脑融合后产生立体声音信息大脑对图象信息和声音信息进一步融合后产生新的认知结果大脑：信息融合中心左耳声音传感器右耳声音传感器左目图象传感器右目图象传感器对象自然界多传感信息融合的本质自然界中人和动物感知客观对象，不是单纯依靠一种感官，而是多个感官的综合。人类的视觉、听觉、触觉、嗅觉和味觉，实际上是通过不同感官获取客观对象的不同信息，然后由大脑对这些信息进行交融，得到一种综合的感知信息。这种把多个感官信息进行交融的过程就是多源信息融合。千古流传的瞎子摸象的故事，就是因为缺少视觉信息，瞎子们的大脑对不完全信息进行融合的结果，难以避免地产生了对大象认知的偏差。信息融合的定义一信息融合就是由多种信息源如传感器、数据库、知识库和人类本身获取有关信息，并进行滤波、相关、和集成，从而形成一个表示构架，这种构架适合于获得有关决策，如对信息的解释，达到系统目标（例如识别、跟踪或态势评估），传感器管理和系统控制等。（W.A.Sander）信息融合的定义二信息融合就是一个过程，处理由单个或多个信息源获得的数据或信息，进行关联、相关和组合，从而提高位置和特性估计的精度，以及完成对态势和威胁及其重要性的适时评估。这种过程是根据对估计和评估的不断精练，对增加信息源的评判，以及对过程本身的修正来表征的，从而达到改善结果的目的。信息融合的定义三目前所研究的多传感信息融合，主要是指利用计算机进行多源信息处理，从而得到可综合利用信息的理论和方法，其中也包含对自然界人和动物大脑进行多传感信息融合机理的探索。其关键问题，就是提出一种理论和方法，对具有相似或不同特征模式的多源信息进行处理，以获得具有相关和集成特性的融合信息。研究的重点是特征识别和算法，这些算法导致多传感信息的互补集成，改善不确定环境中的决策过程，解决把数据用于确定共用时间和空间框架的信息理论问题，同时用来解决模糊的和矛盾的问题。二、信息融合发展的社会需求空中目标侦察与预警智能交通与智能车辆目标识别与身份认证机器人图像融合与图像重构智能传感与智能控制空中目标侦察与预警促进多传感信息融合理论发展的主要动因之一是现代战争的迫切需要。由于现代武器系统具有机动性高、隐蔽性好、电子对抗性能强等特征，用于侦察和跟踪敌方目标的预警系统必须采用雷达、红外、视频、音频等多传感检测，同时联络各个检测点的不同数据进行融合，着重研究的问题包括可靠准确的目标获取、跟踪、身份识别、智能处理、后勤计划、维修计划、指挥与控制等。尤其是针对敌方巡航导弹和飞机低空飞行的现代空中预警系统通常由雷达、通信、导航、指挥控制、敌我识别、数据处理和电子对抗等设备构成，具有搜索、监视、跟踪和指挥攻击等多种功能。采用信息融合技术，以达到精确目标获取、识别和跟踪的目的。空中目标侦察与预警网络联系的现代战场现代战争提供一切获取信息的手段，包括雷达、红外摄象机、光学摄象机、通信设施、计算机网络等，并对所获取的信息进行融合，以得到最佳可利用信息。手持式入网计算机是十分理想的工具。空中目标侦察与预警全场景预警美国国防部的一份研究报告认为，按照现代战争的概念，必须在战场上按正确时间向战士提供正确信息，包括各种传感信息和由之产生的融合信息。实时图象微观气象移动目标集成信息物理模型动态数据库微型传感器无线通信下一代因特网空中目标侦察与预警现代战争中的机敏传感网络适应范围:城市街巷,地铁、下水道,困难的农村地域,浓雾地区,跟踪慢目标和快目标,快速反应空中目标侦察与预警1-目标跟踪雷达2-导弹导引雷达3-计算机4-导弹发射架只有正确估计目标未来的运动轨迹，才有可能正确击中目标；过去总是假定目标作匀速直线运动，这对于相对低机动的飞机等目标运动是正确的，但对于巡航导弹之类的高机动运动目标，这一假设将完全无效；目标的运动方程一般太复杂（用上百个状态变量的非线性微分方程描述），而目标的控制行为不确定，估计难度极大；双方可能有对抗行为，相互规避；现代战争的群攻群防改变了战场以往作战的模式，使得多目标运动状态估计成为新的问题。目标跟踪空中目标侦察与预警空中拦截是现代战争的又一特点，其关键技术是对敌方目标运动轨迹的精确估计，其次才是精确控制我方攻击武器的运动过程，达到拦截的目的；由于敌方目标运动的高速和高度机动性，空中拦截无异于“针尖对麦芒”；对于洲际导弹而言，对敌方目标的搜索、发现、识别和跟踪具有更大的困难；电子对抗的强干扰，使得目标的发现和跟踪变得更加复杂。空中目标拦截智能交通与智能车辆车辆自动导航促进信息融合理论发展的另一个重要因素是现代民用高科技发展的需求。繁忙复杂的现代城市交通和快速便捷的高速公路，以及未来将要出现的自动车辆系统（AVS），均要求建立智能交通系统（ATS）进行智能监测和控制，同样要求对车辆运行进行交通监视和跟踪，更需要多传感信息融合。未来自动车辆系统异类传感器包括视频传感器、激光扫描仪和雷达传感器等，融合的目的在于把目标输入到路径规划与制导系统中去。智能交通与智能车辆日本的车辆驾驶支持系统智能交通与智能车辆智能交通系统中的多传感智能交通与智能车辆未来的智能交通系统智能交通与智能车辆DEMOⅢ无人驾驶车辆的多传感信息融合，传感器包括：声音传感器立体摄像机彩色CCD摄像机背部摄像机激光雷达检测雷达智能交通与智能车辆自动车辆前激光扫描仪三光束激光扫描仪车辆制导系统的信息融合智能交通与智能车辆碰撞报警与规避系统该系统的多传感包括：计算机视觉声纳IR扫描仪多CPU网络音频与视频监测报警器节流变形与制动冲击激光雷达与MMW雷达目标识别与身份认证现代战争还要求空中侦察与预警系统能对敌方目标进行识别，以便有针对性进行攻防；而现代身份认证系统也要求能对人或物进行识别和辨认。这些都需要多传感信息融合技术的支持。目标识别与身份认证01020304000350030002500200015001000500ArbitrarySB/Wavenumber(cm-1)OverlayX-ZoomCURSORFile#4:S6_00350AVGRes=NoneAVERAGED=MultifileSubfiles谱图音频传感地震传感热像传感目标视频传感运动目标识别的多传感信息融合目标识别与身份认证面部认证声音认证一般用户界面超级用户访问界面身份认证的多源信息融合目标识别与身份认证利用面部识别(面部)、语音上下文无关(语音TI)和语音上下文相关(语音TD)的几种信息源进行融合的结果比较融合模式错误接受率(%)错误拒绝率(%)面部7.767.25语音TI1.605.00语音TD0.01.48面部,语音TI1.180.0面部,语音TD1.180.0语音TI,语音TD0.380.5面部,语音TI,语音TD0.780.0身份认证融合结果比较目标识别与身份认证音频特征视频特征决策逻辑决策逻辑融合决策逻辑认证音频模型视频模型基于音频和视频信息融合的身份识别机器人机器人作为人类20世纪最伟大的发明之一，在短短的40年内发生了日新月异的变化。机器人已经不仅成为先进制造业不可缺少的自动化装备，而且正以惊人的速度向海洋、航空、航天、军事、农业、服务、娱乐等各个领域渗透。信息融合是机器人的现代支撑技术之一，它为多传感器的综合利用提供了最有效的技术手段。火星探测器上的机器人“漫游者”机器人图10.4.2军用机器人战车军用机器人战车搬运和装配工业机器人机器人智能机器人智能移动机器人是高级机器人。智能移动机器人集人工智能、智能控制、信息处理、图像处理、检测与转换、信息融合等技术为一体，跨计算机、自动控制、机械、电子等多学科，成为当前机器人研究的热点之一。智能移动机器人可分为室外和室内两种。室外智能移动机器人又称自主陆地车辆或无人驾驶车辆。多传感信息融合是智能移动机器人的关键技术之一。图10.4.7AIBO宠物机器人焊接智能机器人宠物智能机器人机器人智能机器人涉及控制工程、计算机、人工智能、传感、新材料、仿生技术等多种学科，主要研究分支有拟人智能技术，未知环境信息获取、理解和控制的新机制理论，复杂环境中的机器人自主工作新方法，人机接口，机器人的智能体系结构、多传感器机器人系统、装配机器人、微操作机器人、微机器人，基于网络的机器人遥操作系统等。智能机器人机器人利用高速视觉反馈的抓取机器人图像融合与图像重构由原始图像得到更多的图像信息。图像融合是遥感地理分布资源信息提炼、战场可视化、预警系统、医学三维图像重构、机器人视觉等领域非常需要的先进技术，是一个很有发展前景的方向。图像融合在机器视觉监视系统中的应用（a）可见光图像（b）热红外图像（c）融合图像图像融合与图像重构Reference:S.B.SerpicoandF.Roli,“Classificationofmultisensorremote-sensingimagesbystructuredneuralnetworks”,IEEETrans.Geosci.RemoteSensing,vol.33,pp.562-578,May1995.使用和不使用多传感信息融合得到的分类结果比较光学数据集(ATM传感器)SAR数据集传感器总精度（%）SAR74.0ATM80.0SAR+ATM89.8图像融合例1图像融合与图像重构SAR图像(1994年4月)光学与SAR图像(1994年5月)使用和不使用多时段信息融合得到的分类平均精度比较[%]Reference:L.Bruzzone,D.F.PrietoandS.B.Serpico,“Aneural-statisticalapproachtomultitemporalandmultisourceremote-sensingimageclassification”,IEEETrans.Geosci.RemoteSensing,vol.37,pp.1350-1359,May1999.有融合无融合4月图像75.1692.165月图像89.5889.43图像融合例2食道壁超声成象信息融合，即利用超声传感形成二维图象，然后利用融合技术使之进行三维重构食道图象，为医疗诊断和治疗提供了重要技术手段图像融合与图像重构三维重构食道图象(a)健康切片(b)切片轮廓线(a)非健康切片(b)切片轮廓线融合•融合系统结构图信息获取并进行融合医学图像重构三、信息融合系统的模型和结构融合系统模式推断技术的递阶结构融合系统的分类集中式融合系统结构自主式融合系统结构混合式融合系统结构源信息预处理信息源局部信息分布信息国家信息INTELEWSONARRADAR...DATABASES第一级处理目标识别态势评估冲突评价过程优化人机接口信息融合模式数据库管理系统支持数据库用户融合系统模式融合数据库第二级处理第三级处理第四级处理推断技术的递阶结构推断类型应用技术-威胁分析-态势评估-实体的行为与关系-一个实体的身份,特征与位置-一个实体的存在与可量测特征高低-基于知识的技术-决策层次的技术-估计技术-信号处理技术-专家系统-脚本,框架,模版-基于案例的推理-一般算法-等.-神经网络-集群算法-模糊逻辑-Bayes网络-后验概率最大化(如Kalman滤波,Bayes方法),-证据推理推断层次融合系统的分类数据（像素）级融合特征级融合决策级融合以身份识别系统为例，说明不同类别的融合系统。SensorASensorBSensorN•••融合的身份识别结果SensorASensorBSensorN•••SensorASensorBSensorN•••A传感器ASensorBSensorN•••数据级融合传感器B传感器C特征提取关联身份识别S