信息融合技术分析

智能信息处理系列讲座－－信息融合技术(InformationFusion)合肥工业大学图像信息处理研究室Tel:2901393Email:[e-mail]胡良梅合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3主要内容信息融合概述D-S证据理论应用实例研究现状和发展方向参考文献合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3色、香、味（视觉、嗅觉、味觉、经验知识）望、闻、问、切（视觉、听觉、触觉、专家知识……）人脑的信息融合功能人类本能地具有将人体的各种功能器官（眼、耳、鼻、四肢）所探测的信息（景物、声音、气味和触觉）与先验知识进行综合的能力，以便对周围的环境和正在发生的事件做出估计。这一处理过程是复杂的，也是自适应的，它将各种信息（图像、声音、气味、物理形状、描述）转化成对环境的有价值的解释。合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.31.信息融合概述融合（Fusion)采集并集成各种信息源、多媒体和多格式信息，从而生成完整、准确、及时和有效的综合信息过程研究领域：智能信息处理技术优势应用综合性横断学科合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3技术优势可扩展系统的时间和空间覆盖范围可增加系统的信息利用率可提高经融合的信息的可信度和精度可增强对目标物的检测与识别能力可降低系统的投资合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3应用军事应用自动目标识别、自动导航、遥感、战场监视和自动危险识别系统非军事应用智能交通系统；工业过程监视；工业机器人及智能仪器系统；金融系统；图像分析与理解；医学应用；自动目标识别（包括生物特征认证）合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3综合性横断学科数字信号处理统计估算控制理论人工智能经典数学方法合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.31.1基本原理充分利用多个传感器资源，通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在时间或空间上的冗余或互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述，使该信息系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能其它术语：相关(Correlation)、合成(Integration)、混合(Commixture)、合并(Merging)、协同(Synergy)合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3生物特征识别系统多传感器，即利用不同的传感器来提取同一生物特征的信号；多种生物特征系统，如人脸和指纹的结合；同一生物特征的不同部分，如双手、十指或两只虹膜的结合；同一生物特征的不同样本，如同一手指的不同指印；同一生物特征输入信号的多个特征和匹配算法的结合多模态合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.31.2信息融合的方法和技术相关技术估计理论识别技术(1)物理类型类识别技术(2)参数分类识别技术(3)认知模型类识别技术Texonomyofdetection,classfication,andidentificationalgorithms物理模型基于认知的模型仿真估计卡尔曼滤波最大似然最小均方句法ImageAlgebra基于特征的技术参数化经典推理贝叶斯Demster-Shafer信息论参数模板人工神经网络聚类算法投票方法熵度量优化图解模式识别相关性度量逻辑模板基于知识的专家系统模糊集理论相关、估计和识别算法合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.31.3融合的层次结构数据层融合特征层融合(1)目标状态融合(2)目标特性融合决策层融合其它合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3高交互式系统信息信息表征水平数据信息特征信息决策信息低图1多传感器信息融合层次化结构数据库/黑板系统决策层融合特征层融合数据层融合数据库/黑板系统合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3数据层融合直接在采集到的原始数据层上进行融合，在各种传感器的原始测报未经预处理之前就进行数据的综合与分析。低层次的融合应用：多源图像复合、图像分析与理解、同类（同质）雷达波形的直接合成方法：经典的检测和估计方法难点：图像配准（Registration）合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3传感器1传感器N传感器2...数据关联和配准数据融合原始数据数据层融合合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3特征层融合目标状态融合目标特性融合先对来自传感器的原始信息进行特征提取（特征可以是目标的边缘、方向、速度等），然后对特征信息进行综合分析和处理合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3传感器1传感器N传感器2...数据配准数据配准数据配准...关联估计目标状态航迹文件(目标数据库)目标状态融合应用：目标跟踪领域方法：卡尔曼滤波和扩展卡尔曼滤波合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3目标特性融合...传感器1传感器2传感器n特征抽取关联特征融合联合识别结果应用：模式识别问题方法：模式识别的相应技术（如参数模板法、特征压缩和聚类算法、K阶最近邻、神经网络、模糊积分）合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3决策层融合每个传感器在本地完成预处理、特征抽取、识别或判决等处理，建立对所观察目标的初步结论，然后通过关联处理、决策层融合判决，最终获得联合推断结果方法：贝叶斯推断、D－S证据推理理论、模糊集理论、专家系统方法、人工神经网络应用：目标识别合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3传感器1传感器N传感器2...本地处理本地处理本地处理...关联决策融合联合推断结果决策层融合合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3说明：对于特定的应用选择在哪一个层次进行融合是一个系统工程问题，需要综合考虑通信带宽、信源的特点、可用的计算资源等方面的因素影响。不存在能够适用于所有情况或应用的普遍结构。合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3特征提取模块匹配模块决策模块输入1接受/拒绝匹配模板特征提取模块匹配模块决策模块输入n接受/拒绝匹配模板FUMMDM接受/拒绝匹配模板FUDM接受/拒绝FU接受/拒绝生物特征认证系统FU：fusionmoduleMM：matchingmoduleDM：decisionmodule多模态特征层融合信度层融合决策层融合合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.32.D-S证据理论D-S证据理论是在A.P.Dempster于1967年提出的“上、下概率”及其合成规则的基础上，由G.Shafer在其1976年出版的专著《证据的数学理论》中建立的，20世纪80年代，它就在人工智能领域引起了广泛的应用，逐渐发展为一类重要的不确定性推理方法，可用于目标检测、分类和识别。传感器1观测值分类器判决输出传感器2观测值分类器判决输出传感器N观测值分类器判决输出计算或列举给定判决的基本概率赋值计算或列举给定判决的基本概率赋值计算或列举给定判决的基本概率赋值......按照Dempster结合准则融合这些基本概率赋值决策逻辑融合判决输出结果是所有信源对每个命题的证据的结合选择满足最多证据的命题将传感器从观测空间收集的信息转换为基本概率赋值mk(oi)合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3基本概念基本概率赋值置信度似真度AAm1)(ABBmAbel)()(BABmApl)()(321323121321,,,,,,aaaaaaaaaaaa鉴别框架合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.30置信度似真度1支持证据区间否定证据区间不确定性区间似真证据区间命题A的D-S不确定性区间合肥工业大学图像信息处理研究室:0551-2901393Email:[e-mail]2006.3)](),([AplAbelA解释[0,1]对命题A一无所知[0.6,0.6]命题A的确切概率为0.6[0,0]命题A为假[1,1]命题A为真[0.25,1]证据提供对命题A的部分支持[0,0.85]证据提供对的部分支持[0.25,0.85]证据同时支持A和AA传感器1观测值分类器判决输出传感器2观测值分类器判决输出传感器N观测值分类器判决输出计算或列举给定判决的基本概率赋值计算或列举给定判决的基本概率赋值计算或列举给定判决的基本概率赋值......按照Dempster结合准则融合这些基本概率赋值决策逻辑融合判决输出结果是所有信源对每个命题的证据的