多信息融合 讲稿1

1电信学院综合自动化所多传感信息融合办公室：西一楼[e-mail]2电信学院综合自动化所绪论参考书目：1.周宏仁,敬忠良,王培德,机动目标跟踪.北京：国防工业出版社,1991.2.韩崇昭等.多源信息融合.北京：清华大学出版社,2006.3.何友等.多传感器信息融合及应用(第二版).北京：电子工业出版社,2010.4.何友等.雷达数据处理及应用(第二版).北京：电子工业出版社,2009.5.Bar-ShalomY,FortmannTE.TrackingandDataAssociation.Boston:AcademicPress,3电信学院综合自动化所绪论网上资源国内：中国期刊网（中国科学；电子学报；自动化学报；控制理论与应用）国际期刊：IEEETransactionsonAerospaceandElectronicSystemsIEEETransactionsonSignalProcessingInternationalJournalofInformationFusionJournalofAdvancesinInformationFusionIEEETransactionsonInformationTheory国际会议：InternationalConferenceonInformationFusionIEEEConferenceonDecisionandControlIEEEConferenceonSystems,Man&Cybernetics4电信学院综合自动化所绪论1.数据融合产生背景与定义2.模型与结构3.应用简介4.讲课内容5电信学院综合自动化所1.数据融合的背景与定义a.目的与起源多传感信息融合（multi-sensorinformationfusion）又称为多源信息融合（multi-sourceinformationfusion），是20世纪70年代提出来的，军事应用是其诞生的源泉。信息融合也称数据融合(datafusion)，但就信息和数据的内涵而论，用信息融合一词更具概括性。因为信息包括数据，信号，知识等。我们在这里所讲的传感器也是广义的，不仅包括物理意义上的各种传感器系统，也包括与观测环境匹配的各种信息获取系统，甚至包括人或动物的感知系统。包括空域上的多传感的融合，也包括时域上单传感的融合，也包括多种方法的融合。6电信学院综合自动化所为什么要发展数据融合技术？†20世纪70年代初，起源于军事，为了取得最佳的作战效果;†信息化时代的信息特点及处理要求；（不确定性、不完整、不一致、及虚假数据；形式多样，数量巨大，关系复杂，实时处理）†需要利用多源数据的互补性和计算机的高速计算和智能来提高结果信息的质量。7电信学院综合自动化所b.定义从给出信息融合的定义。定义定义3利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析，优化综合以完成所需的决策和估计任务而进行的信息处理过程。（一般应用的角度）定义3信息融合是组合多源数据或信息，对实体状态进行估计和预报的过程。…….8电信学院综合自动化所b.定义定义1（美国国防部定义：[1991]）信息融合是一种多层次、多方面的处理过程（multilevel,multifaceted），包括对多源数据进行自动化的检测、互联、相关、估计和组合处理（automaticdetection,association,correlation,estimation,andcombination），从而提高状态和身份估计的精度，以及对战场态势和威胁的重要程度进行有效的评价。9电信学院综合自动化所定义2利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析，优化综合以完成所需的决策和估计任务而进行的信息处理过程。定义3信息融合是组合多源数据或信息，对实体状态进行估计和预报的过程。…….10电信学院综合自动化所c.基本原理事实上，人类和自然界中其它动物对客观事物的认知过程，就是一种对多源信息的融合过程。多传感信息融合实际上是对人脑综合处理复杂问题的一种功能模拟（由感知到认知）。11电信学院综合自动化所自然界同类多传感信息融合左目和右目的视觉传感器分别获取二维图象信息，经大脑融合后产生立体图象信息；左耳和右耳的听觉传感器分别获取一维声音信息，经大脑融合后产生立体声音信息；大脑：信息融合中心左耳声音传感器右耳声音传感器左目图象传感器右目图象传感器对象12电信学院综合自动化所自然界异类多传感信息融合演绎活动大脑记忆先验知识规则推理能力眼睛耳朵舌头鼻子手盲人摸象故事启示:不能以偏概全，需要进行信息融合13电信学院综合自动化所d.优势①扩展空间和时间覆盖范围；（利用互补信息，improveobservability）②改进探测性能；③增强系统的生存能力；④提高可信度（多传感联合确认，利用冗余信息，increasereliability）；⑤降低信息的模糊度；⑥提高空间分辨率（传感器能够识别的两个相邻物的最小距离）；⑦成本低、质量轻、占空少。（传感器选择灵活）14电信学院综合自动化所2.模型与结构a功能模型（处理模型）人机接口数据融合的研究领域数据预处理一级处理目标评估(ObjectAssessment)二级处理态势评估(SituationAssessment)三级处理影响评估(ImpactAssessment)四级处理过程评估(ProcessRefinement)数据源支持数据库融合数据库数据库管理系统美国三军组织—实验室理事联合会（JDL）数据融合模型(JointDirectorsofLaboratories)15电信学院综合自动化所一级处理：目标评估（objectassessment），或称对象评估，主要功能包括数据对准、数据关联、目标运动学参数估计（跟踪），以及身份估计等，其结果为更高级别的融合过程提供辅助决策信息。此级别的处理属于数值计算过程，其中运动学参数估计通常以最优估计技术（线性估计技术、非线性估计技术）为基础，而身份估计一般以参数匹配技术或模式识别技术为基础，从比较简单的技术（如多数表决法）到更复杂的统计方法（Bayes方法、D-S证据理论等）。二级处理：态势评估（situationassessment），是对整个态势的抽象和评定。在军事领域，态势评估是指评价实体之间的相互关系，包括敌我双方兵力结构和使用特点，是对战场上战斗力量分配情况的评价过程。16电信学院综合自动化所三级处理：影响评估（impactassessment），它将当前态势映射到未来。在军事领域即指威胁估计（threatassessment），用以对作战事件出现的程度和可能性进行估计，并对敌方作战企图给出指示和告警。四级处理：过程评估（processassessment），它是一个更高级的处理阶段。通过建立一定的优化指标，对整个融合过程进行实时监控与评价，从而实现多传感器自适应信息获取和处理，以支持特定的任务目标，并最终提高整个系统的性能（包括实时性，决策和估计精度等）。17电信学院综合自动化所b.通用处理结构集中式结构:处理的是传感器的原始数据；特点是信息损失小，对系统通信要求较高（通信链路处），融合中心计算负担重（融合中心处），系统的生存能力也较差。分布式结构：处理的是经过预处理的局部传感器数据；具有造价低、可靠性高、通信量小等特点。混合式结构：处理的既有原始数据，又有预处理过的数据。它保留了上述两类系统的优点，但在通信和计算上要付出较昂贵的代价。18电信学院综合自动化所c.信息融合的级别（层次模型，一般用来描述目标识别问题）按照数据抽象的层次，可划分为三个级别:数据级融合、特征级融合，以及决策级融合。19电信学院综合自动化所数据级融合•••融合的身份识别结果•••••••••传感器N关联数据级融合特征提取身份识别传感器1传感器2优点：只有较少数据量的损失，提供其它融合层次所不能提供的其它细微信息，所以精度最高；缺点：所要处理的传感器数据量大，故处理代价高，处理时间长，实时性差；它要求传感器是同类的，即提供对同一观测对象的同类观测数据；数据通信量大，抗干扰能力差。用于多源图像复合、图像分析和理解以及同类雷达波形的直接合成等。20电信学院综合自动化所特征级融合优点：实现了可观的数据压缩，降低对通信带宽的要求（通信链路处），有利于实时处理，不要求是同类传感器（融合中心处）；缺点：由于损失了一部分有用信息，使得融合性能有所降低。21电信学院综合自动化所决策级融合优点：通信量小，抗干扰能力强；对传感器依赖小，不要求是同类传感器；融合中心处理代价低；缺点：数据损失量最大，因而相对来说精度最低。常见算法有Bayes推断、专家系统、D-S证据推理、模糊集理论。22电信学院综合自动化所3.应用领域空中目标侦察与预警目标识别与身份认证智能交通与智能车辆机器人图像融合刑侦与故障诊断23电信学院综合自动化所空中目标侦察与预警24电信学院综合自动化所目标识别与身份认证音频特征视频特征决策逻辑决策逻辑融合决策逻辑认证音频模型视频模型基于音频和视频信息融合的身份识别（现代战争、现代身份验证）25电信学院综合自动化所智能交通与智能车辆智能交通系统中的多传感26电信学院综合自动化所机器人作为人类20世纪最伟大的发明之一，在短短的40年内发生了日新月异的变化。机器人已经不仅成为先进制造业不可缺少的自动化装备，而且正以惊人的速度向海洋、航空、航天、军事、农业、服务、娱乐等各个领域渗透。信息融合是机器人的现代支撑技术之一，它为多传感器的综合利用提供了最有效的技术手段。搬运和装配工业机器人27电信学院综合自动化所机器人图10.4.2军用机器人战车军用机器人战车火星探测器上的机器人“漫游者”28电信学院综合自动化所利用高速视觉反馈的抓取机器人29电信学院综合自动化所图像融合图像融合可以增强影像中的信息透明度，改善解释的精度，提高可靠性及使用率。图像融合在机器视觉监视系统中的应用（a）可见光图像（b）热红外图像（c）融合图像30电信学院综合自动化所医学图像融合医学图像融合31电信学院综合自动化所遥感图像融合遥感图象融合示例SAR与可见光在获取地物波谱特征信息的波段范围及方式不同）32电信学院综合自动化所刑侦多传感器数据融合技术在刑侦中的应用，主要是利用红外、微波等传感设备进行隐匿武器检查、毒品检查等。另外，将人体的各种生物特征如人脸、指纹、声音、虹膜等进行适当的融合，能大幅度提高对人的身份识别与认证能力，这对提高安全保卫能力是非常重要的。故障诊断在工业监控应用中，每个传感器基于自身的检测统计量，可以提炼出有关系统故障的特征信息（故障表征）。在局部故障诊断处理单元，利用这些故障特征信息，并按照多种故障诊断方法对被诊断的对象做出是否有故障发生的推断。而融合中心则基于一定的准则进行融合处理，最终得出对象是否存在故障的决策。33电信学院综合自动化所4.讲课内容检测融合不确定推理与目标识别估计融合数据关联时空配准34电信学院综合自动化所考核方式1、仿真实验报告2、笔试