可见光与红外侦察图像融合技术研究

I可见光与红外侦察图像融合技术研究孙明超（光学工程）导师：张葆摘要目前，在航空侦察领域，常用的成像传感器主要有可见光与红外两种异源成像传感器，其中可见光传感器成像分辨率较高，场景中的地面目标的边缘纹理等细节信息比较清晰，抗干扰能力强，但容易受到天气等自然条件的影响；红外传感器成像系统具有可穿透烟雾，主体目标比较清晰，能够昼夜工作等特点，因此在航空侦察成像中采用可见光与红外侦察图像融合的方法，可以提高对目标的探测、侦察、识别、跟踪等任务的可靠性，同时也对可见光与红外侦察图像配准与融合的稳定性、有效性及实时性提出更严格的要求。本文首先优化了先验知识的粒子群算法，并以其为搜索策略，在搜索过程中以对齐度为判优依据，实现了可见光与红外侦察图像的快速、高精度、高可靠性配准。然后，在piella的多尺度图像融合理论框架的基础上进行拓展，得到更加完善的图像融合框架，使可见光与红外融合图像具有更丰富的融合细节信息和更佳的视觉效果。可见光与红外传感器采集到同一场景的图像其高频细节部分存在着较大差异，针对这一特点，本文首先对已经配准的可见光和红外图像进行小波变换，再对两幅图像进行多尺度边缘提取，然后以局部模方为活性测度，局部模方的比值为匹配测度，并且利用图像的边缘特征指导融合策略，经过合成模块和多尺度逆变换得到融合图像，最后对融合后的图像进行图像增强，并对其进行客观评价。本文采用小波变换，将图像边缘检测、图像增强、图像融合有机的结合起来，最终使可见光与红外融合图像在图像融合的客观评价标准中取得比较理想的结果。II最后，依据目前美国的国家导弹防御系统正在着手研制一种能够获取弹道导弹在助推阶段精确数据和观测飞机机动性能、隐身性能的视频数据，能够装备在无人机上的，具有多传感器图像融合系统吊舱的发展趋势，建立了可见光与红外高帧频侦察图像融合系统，可以实现对飞机校飞或导弹的离梁、下滑及飞行姿态等关键阶段进行观测，并且对该系统如何来减少高帧频的图像配准与融合在算法上的耗时，并能够满足高实时性要求（100帧）进行了研究。首先采用可见光与红外共光路方式，保证可见光与红外同视轴，采用光学标校配准法来进行图像配准，可以大幅减少可见光与红外侦察图像配准的耗时，并提出能够提高配准精度的处理方法，对光学标校配准法特点进行总结。然后比较分析了在时域内能达到实时性的几种图像融合方法及效果。最后对大小不同异源图像的融合后图像边缘痕迹消除进行了探讨，采用窗函数法既可以保留融合的效果又可以消除融合的边缘痕迹。关键词：图像配准；图像融合；光学标校配准；高帧频IIIResearchonFusionofVisibleandInfraredReconnaissanceImagesSunMingchao（OpticalEngineering）DirectedbyZhangBaoAbstractNow,therearetwocommonlyusedimagingsensorsinaerialreconnaissance.Thetwoheterogeneoussourcesensorsarerespectivelyvisibleandinfraredsensors.Theimagingresolutionofvisiblesensorissuperiorandthedetailoftheedgesandtextureofobjectsareclear.Also,ithasstrongantiinterferencecapability.It’sapitythatitiseasilyinfluencedbynaturalconditions,forexampleweather.Imagingsystemofinfraredsensorcanpenetratethroughsurfacefeaturessuchassmogandforest.Itssubjectgoaliscomparativelyclear.Itismoreimportantthatitcanworkperfectlyatdayandnight.Sointheprocessingofaerialreconnaissanceimaging,thefusionofvisibleandinfraredimagescanimprovereliabilityofobjectsdetection,reconnaissance,recognition,trackingandputforwardmorestrictrequirementsforstability,validityandreal-timeoftheregistrationandfusion.Firstly,optimizedparticleswarmoptimizationbasedonpriorknowledgeassearchstrategyandalignmentmetricasbasisforjudgmentpriority,thepaperbringsforwardfast,highprecise,highreliableheterogeneoussourceimageregistrationofvisibleandinfraredimages.Then,basedonPiella'stheoreticalframeworkofmulti-scaleimagefusion,thispaperconstructsamorecomprehensivefusionframeworkthatfusionofvisualandinfraredimageshasricherfusiondetailandbettervisualeffects.Imagesofthesamescene,obtainedfromvisibleandinfraredsensorsrespectively,haveabigdifferenceIVinthehigh-frequencydetail.Forthischaracteristic,firsttakeWaveletTransformofinfraredandvisiblelightregistrationimages,andtakeedgeextractionoftwoimagesunderthemulti-scale.Thentakelocalmodulesquareasactivitymeasure,usetheimageedgefeaturetoguidefusiondecision,andgetfusedimagesthroughcombinationmoduleandmulti-scaleinversion.Finally,takeimageEnhancementtothefusedimageandtakeobjectiveassessmentoftheimagequality.Underthewaveletdomain,thispapercombinesimageedgedetectionwithimageenhancementandimagefusionandgetsveryperfectresultsoffusedimageofvisibleandinfraredimagesundertheobjectiveassessmentcriteriawithoutstandardreferenceimage.Finally,inordertoobserveeverykeystageswhichincludeflightcorrectionofairplaneorlaunchandflightattitudeofmissile,thepaperestablishesairbornehighframerateheterogeneoussourcefusionsystemandhavearesearchonthesystemadoptingcommonopticalpatharrangementtodecreasealgorithmconsumedtimeofhighframerateheterogeneoussourceimageregistrationandfusionandsatisfyreal-timerequest(100frames).Inopticaldesign,commonpathofvisiblelightandinfraredisadoptedsoastomaketheirvisualaxissame.Wemakeasummaryofthecharacteristicofopticalalignmentcalibrationregistration,useitforcalibratingimageregistrationandproposeamethodofimprovingcalibrationprecision.Then,wecomparewithsomeimagefusionmethodthatsatisfyreal-timeintimedomainandanalyzetheirresults.Finally,wehavearesearchontraceeliminationofedgesofimagewhichisobtainedbyfusionoftwoheterogeneoussourceimageswithdifferentsize.Theusageofwindowfunctionmethodnotonlypreservesfusioneffectsandalsoeliminatestraceoffusionedges.Keywords:ImageRegistration;ImageFusion;OpticalCalibrationRegistration;HighFrameRateV目录摘要.........................................................................................................IAbstract...................................................................................................III第1章绪论..............................................................................................11.1课题研究背景及意义.....................................................................................11.2相关领域的研究现状.....................................................................................21.2.1图像融合的应用....................................................................................21.2.2图像配准研究现状................................................................................31.2.3图像融合研究现状................................................................................41.3论文的主要内容及结构安排.........................................................