基于双目立体视觉裸眼3D显示技术研究

中图分类号：TP391.7论文编号：102870515-S193学科分类号：082503硕士学位论文基于双目立体视觉裸眼3D显示技术研究研究生姓名李超学科、专业航空宇航制造工程研究方向数字化设计与制造指导教师沈建新教授南京航空航天大学研究生院机电学院二О一五年三月NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofMechanicalandElectricalEngineeringResearchonTechnologyofNaked-eye3DDisplayBasedonBinocularStereoVisionAThesisinAeronauticalandAstronauticsScienceandTechnologybyLiChaoAdvisedbyProf.ShenJianxinSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringMarch,2015承诺书本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本人授权南京航空航天大学可以有权保留送交论文的复印件，允许论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文。(保密的学位论文在解密后适用本承诺书)作者签名：日期：南京航空航天大学硕士学位论文i摘要立体显示技术很好地解决了传统的二维显示技术缺少场景三维信息这一问题，能让人眼感受到更加全面和真实的立体影像，现已广泛的应用于医学、教育、军事、商业以及娱乐等众多领域，对基于双目立体视觉的立体显示技术研究具有十分重要的价值和现实意义。双目立体视觉技术是计算机视觉领域的一个重要研究方向，它基于视差原理能精确的获取空间物体表面的三维信息。通过两个不同位置的摄像机拍摄同一场景，并从中恢复深度信息来模拟人类双眼对三维信息的测量。在立体显示技术中，非裸眼的立体成像技术都需要佩带如偏振眼镜、快门式眼镜、互补色眼镜等辅助工具，不能完全解放人眼，因此这种方式在许多场合并不适用。选择基于双目立体视觉原理的裸眼3D显示方法是一个最佳选择，它不再需要佩带眼镜，观察者在观看的屏幕同时不受任何限制，灵活性更强，而且三维场景信息相对准确。从平面图像到提取包含深度信息的视差图像，以及转化到人眼能够感受到具有纵深感的立体图像，综合了摄像机标定校正、立体匹配、DIBR技术、裸眼3D显示技术等一系列新型技术。论文重点进行了双目立体视觉技术中摄像机标定校正、立体匹配算法研究以及DIBR技术的仿真等，主要研究内容包括：1、双目立体视觉技术及平面3D技术概述。包括双目立体视觉技术、平面3D显示技术的原理、理论、研究现状以及3D技术在医疗手术领域的应用。2、双目立体视觉系统模型分析。结合现有立体显示技术，介绍3D显示器的光学原理以及人眼获得具有真实立体感的立体视觉成像原理。引入视差概念，构造了双目立体视觉的几何模型，建立场景中三维信息的数学关系。3、摄像机标定校正技术研究。分析了摄像机的成像模型及其特点，研究了摄像机标定方法的坐标系转换、数学原理。主要研究了基于OpenCV的标定和校正方法，采用张正友经典标定方法进行摄像机的单目及双目标定，获得摄像机的内外参数，最后通过Bouguet算法对图像进行校正。4、基于小波变换与噪声可见度函数的立体匹配算法研究。针对现有匹配方法进行了对比分析，引入了小波变换与噪声可见度函数，对基于图像分割的立体匹配算法进行改进，基于小波变换与噪声可见度函数的立体匹配算法将图像分解为多个子带，并对各个子带图像进行阈值处理，提高图像的匹配质量，最终利用人类视觉系统模型中的噪声可见度函数融合各个子带的匹配结果获得最终的视差图像。仿真结果表明基于小波变换与噪声可见度函数的立体匹配算法，与其他算法相比，能获得精度更高的视差图像。在上述研究的基础上，进行了基于小波变换与噪声可见度函数立体匹配算法及DIBR技术基于双目立体视觉裸眼3D显示技术研究ii的仿真实验，并基于VC平台和OpenCV视觉函数库来完成相关软件设计；利用自己搭建的双目立体视觉系统硬件平台完成图像采集、摄像机标定校正、提取深度图像及图像合成等相关实验，实验结果表明，所获得的深度图像误差较小能有效反应场景信息。关键词：双目立体视觉，平面3D显示，裸眼3D，摄像机标定，立体匹配，离散小波变换，噪声可见度函数，图像分割，OpenCV，DIBR南京航空航天大学硕士学位论文iiiAbstractThetraditionaltwo-dimensionaldisplaytechnologylacksdepthinformation,andthisproblemissolvedwellby3ddisplaytechnology,itcanmakeusfeelmorecomprehensiveandtruestereofeelings.The3ddisplaytechnologyhasbeenwidelyusedinmedicine,education,military,commercial,entertainmentandmanyotherfields.Theresearchonbinocularstereovisionhasimportantvalueandrealsignificant.Binocularstereovisiontechnologyisoneoftheimportantfieldsincomputervisiontechnology,Itcanobtain3d(three-dimensional)informationoftheobjectinthesceneaccuratelybasedonparallaxprinciple.Binocularstereovisiondirectlysimulateman’seyesprocessinginformationmannerstocomputethethree-dimensionalinformation,thatis,theuseoftwocamerasshootingthesamescenefromdifferentlocations,andrecoverthethree-dimensionalinformation.Innon-naked-eye3ddisplaytechnologyweneedwearpolarizedglasses,shutterglasses,complementarycolorglassesorotherauxiliarytools,thereforeitcannotliberateoureyes,sothiswayisnotapplicableinmanyoccasions.Thenaked-eye3dtechnologybasedonbinocularstereovisionisoneofthebestchoices,itnolongerneedtowearglasses,observerscanwatchthescreenwithoutanyrestrictions,thistechnologyismoreflexible,anditcanprovideobserverswithaccuratesceneinformation.Extractingdisparityimageswhichcontaindepthinformationfromplanarimagesandtransformingdepthimagestostereoimages,itneedsaseriesofnewtechnologies,suchascameracalibration,stereomatching,DIBRtechnologyandautostereoscopicdisplayandsoon.Thispapermainlyfocusesoncameracalibrationandcorrectiontechnology,stereomatchingalgorithmandsimulationofDIBRtechnology,themainresearchcontentsarelistedasfollows:1Theoverviewofbinocularstereovisiontechnologyandplanar3ddisplaytechnology.Thispartincludesprinciplesandtheoriesofbinocularstereovisionandplanar3ddisplaytechnology,theirdomesticandforeignresearchatpresentandpast,andtheirapplicationsinmedicalsurgery.2Theanalysisofthemodelsofbinocularstereovisionsystem.Inthispartweexpresstheopticalprincipleof3ddisplayandtheimagingtheoryofstereovisionwiththerealityfeelings,combinedwiththeintroductionofthedifferent3ddisplaytechnologies,introducetheconceptofdisparity,structurethegeometricmodelofbinocularstereovisionandthemathematicalrelationshipofthesceneinformation.基于双目立体视觉裸眼3D显示技术研究iv3Theresearchofthecameracalibrationandcorrection.Analyzethefeaturesoftheimagingmodelsofcamera,themainresearchincludesthecoordinatetransformationandmathematicalprinciplesofthetraditionalcameracalibrationmethods.CalibratethebinocularcamerasbyZhangzhengyoumethodbasedonOpenCVplatform,obtaintheintrinsicandexternalparametersofthecameras,andonthebasisofcalibrationwecorrecttheimagesbyBOUGUETalgorithm.4Theresearchonstereomatchingalgorithmbasedonwavelettransformandnoisevisibilityfunction.Compareandanalyzethepresentmatchingmethods,foundthestereomatchingbasedonimagesegmentationhasgreatadvantages,thispaperproposesanovelmethodofstereomatching,whichdecomposesobjectimagesintoasetofsub-bandsbydiscretewavelettransform,thenmodifieseachsub-bandimage,andimprovesthematchingqualityofeachsub-ba