基于微透镜阵列的集成成像和光场成像研究

中国科学技术大学博士学位论文基于微透镜阵列的集成成像和光场成像研究姓名：徐晶申请学位级别：博士专业：光学指导教师：明海；RafaelPiestun2011-04-25摘要II摘摘摘摘要要要要近年来，三维成像与显示技术受到越来越多的关注。由于具有完整的视差，连续的视点、无需任何观察眼镜和特殊光照，基于微透镜阵列的集成成像脱颖而出，逐渐发展成为最具潜力和前景的自动立体显示技术。本论文围绕基于微透镜阵列的集成成像和光场成像开展研究工作。通过分析和利用透镜阵列采集的图像阵列的视差信息，提出并实现了深度提取线性插值增强方法，无网格噪音的深度切片重建方法和多视点重建方法。除此之外，还实现了光场照相机点扩散函数的精确模拟，为光场照相机的性能研究奠定基础。本论文的主要研究内容和成果如下：1、提出了深度提取精密度和深度提取正确度两个评估量，量化地证明了线性插值对集成成像互相关视差匹配深度提取方法的增强作用。集成成像的应用常常受到单元图像低分辨率的限制。无需额外的光学元件和硬件移动，采用线性插值将单元图像像素个数增加一倍，深度提取精密度提升了20%，深度提取正确度提升了15%。集成成像还可以同时实现三维场景的重建和深度的提取。这是其他深度提取技术所不具备的特点。利用增强方法提取的深度信息辅助三维场景的重建，使重建图像更为清晰。基于集成成像的深度提取可应用于三维场景的背景去除。2、提出了一种无网格噪音的计算集成成像重建方法。网格噪音是由于单元图像之间的非均匀叠加造成的。重建图像光强归一化是通过计算所有逆向投影的单元图像的光强加权平均值实现的。在传统的计算集成成像重建方法中，由于权重形式的缺陷，造成了较为严重的网格噪音和冗长的计算时间。在本论文的研究工作中，采用了高斯函数形式的权重。即单元图像边缘部分重叠次数较多的部分具较小的权重，从而在任意重建深度，使造成网格噪音的单元图像非均匀叠加得到较好的补偿。而且高斯函数形式的权重可以缩短传统计算集成成像重建方法中冗长的权重计算，使计算效率提升4%左右。利用这种方法实现的重建图像质量增强利于实现基于集成成像的三维可视化和识别。3、根据针孔阵列模型和光线光学理论，仿照人眼观察集成成像显示系统的原理，提出并实现了搜索式的多视点计算集成成像重建方法。该方法中，通过推导不同单元图像中对应像素的空间几何关系，依次从相邻单元图像中，把中心单元图像缺失的图像信息提取出来并拼接在一起。即使单元透镜个数较少时，也能获得完整图像信息的视点图像，视图分辨率不受单元透镜个数的限制。4、研究了光场照相机记录三维场景信息的原理、系统结构和点扩散函数。研究表明光场照相机点扩散函数的两个特征量——光斑中心位置和直径对光场摘要IIII照相机的重建图像质量和三维信息的精度产生影响。本文实现了光场照相机点扩散函数的精确模拟。提出了精确模拟需要满足的判据条件。该条件确保了模拟结果与理论计算结果相吻合。本论文的主要创新点如下：1、提出并实现了一种具有高斯权重的计算集成成像重建方法。实现了任意重建深度下，无网格噪音的三维场景深度切片重建。而且，简洁的高斯权重形式是计算效率提升了4%左右。2、提出并实现了集成成像深度提取的线性插值增强方法。通过定义两个评估量从结果的整体分布和整体偏差两个方面，量化地证明了线性插值对集成成像深度提取的增强作用。深度提取精密度提升了20%，深度提取正确度提升了15%。3、提出并实现了一种搜索式的多视点计算集成成像重建算法。不同于传统视图产生方法，该方法获得的视点图像分辨率不受单元透镜个数的限制。4、提出了精确模拟光场照相机点扩散函数的量化条件并实现了点扩散函数的精确模拟。为光场照相机的性能研究奠定基础。关键词关键词关键词关键词：：：：集成成像；光场；透镜阵列；计算集成重建；深度提取ABSTRACTIIIIIIABSTRACTRecentyears,threedimensionalimaginganddisplaytechniquesattractmoreandmoreattention.Duetoitprovidesthecontinuousviewpoints,two-directiondisparityanddoesnotrequiretheuseofspecialglassesandspecialillumination;integralimagingbecomesthemostpromisingautostereoscopicdisplay.Thisdissertationcentersonthestudyofintegralimagingandlightfieldimagingbasedonmicrolensarray.Byanalyzingandutilizingthedisparityinelementalimagecapturedmicrolensarray,theimproveddepthextractionbylinearinterpolation,computationalintegralimagingwithoutintensitynon-uniformityandmulti-viewpointreconstructionareproposedandrealized.Besides,theaccuratesimulationofpointspreadfunctioninlightfieldcameraisrealized,whichsetabasisforperformanceenhancementoflightfieldcamera.Themainresearchesandconclusionsarelistedasfollows.1.Theextracteddepthsofobjectpointsareassessedbytwodefinedevaluationmeasurements,thedepthprecisionandthedepthcorrectness.Theevaluationresultsprovetheenhancementofdepthextractionbasedonintegralimagingbylinearinterpolationmethodfromtwoaspects,thewholedistributionandthewholedeviation.Thelowresolutionofelementalimagealwayslimitstheapplicationofintegralimaging.Withoutanyadditionalhardwareandmovement,thecorrectnessandaccuracyareincreased15%and20%respectively,whentheelementalimagesarescaledonetimebylinearinterpolation.Inintegralimaging,thereconstructionofthree-dimensionalsceneandtheextractionofdepthcanbecompletedatthesametime.Itistheadvantagethatothermethodsofdepthextractiondonothave.Thequalityofreconstructedimagebecomesbetterbyusingtheextracteddepthinformationafterinterpolation.Depthextractionbasedonintegralimagingcanbeusedinthebackgroundremovalofthreedimensionalscenes.2.Anovelcomputationalintegralimagingreconstruction(CIIR)methodtoremovethegridnoiseinthereconstructedimageof3Dsceneisproposed.Thegridnoiseisduetothenon-uniformsuperpositionofelementalimages(EIs).TheintensityofthereconstructedimageistheweightedaverageoftheintensityoftheinverselymappedEIs.InconventionalCIIRmethods,theformsofweighthavelimitedeffectsontheremovalofgridnoiseandleadthelengthycomputation.AGaussianABSTRACTIVIVweightisadoptedinthispaper.ThatistheedgeregionofanEIwithmorenumberofoverlappinghassmallerweightthanotherregions,sothatthenon-uniformsuperpositioniscompensatedatarbitraryreconstructiondepth.Moreover,theGaussianweightenablesustoshortenthelengthyweightintheconventionalCIIR.Theimprovedreconstructedimageishelpfultoachieve3Dvisualizationandrecognitionusingintegralimaging.3.Accordingtothepin-holearraymodelandrayopticstheory,themulti-viewingpointreconstructionmethodinintegralimagingisproposedbyimitatingtheviewingmethodofhumaneye.Inthismethod,theinformationmissedinthecenterelementalimageareextractedfromtheneighboringelementalimagesandareconnectedtogethertoformthereconstructedimageofthreedimensionalscenefromacertainviewingpoint.Thereforebeingdifferentfromthetraditionalmethod,theviewreconstructedinthismethodisnotlimitedbythenumberofelementallens.4.Theprinciple,configureandpointspreadfunctionoflightfieldcamerabasedonmicrolensarrayarestudied.Theresearchprovesthatthetwocharacteristicparametersofpointspreadfunction,diameterofspotandthecenterpositionofspotaffectthequalityofreconstructedimageandaccuracyofthree-dimensionalinformationoflightfieldcamera.Theaccuratepointspreadfunctionsimulationareproposedandcompleted.Theproposednumericalconditionguaranteesthesimulatedresultmatchesthetheories.Themaininnovationsinthisdissertationisl