鱼眼图像校正算法研究

南京邮电大学硕士学位论文鱼眼图像校正算法研究姓名：张伟申请学位级别：硕士专业：信号与信息处理指导教师：卢官明2011-03南京邮电大学硕士研究生学位论文                                                                         摘要 摘要鱼眼镜头具有短焦距(f=6~16mm)、大视场的优点（视场角约为至），在虚拟实景、视频监控、智能交通、机器人导航等领域得到广泛的应用。但鱼眼镜头摄像机拍摄的图像具有非常严重的变形，如果要利用这些具有严重变形图像的投影信息，需要将这些变形的图像校正为符合人们视觉习惯的透视投影图像。因此，对鱼眼镜头捕获的图像进行校正是一个很有意义的研究性课题。01800270在鱼眼图像校正之前，需要把鱼眼图像的有效区域提取出来，它在整个校正过程中至关重要。针对几种常用的有效区域提取方法的不足，本文提出一种改进算法，实验结果表明该方法在保证精度的前提下兼顾了效率。鱼眼图像校正分为2D和3D校正。2D鱼眼图像校正直接把鱼眼图像中的像素点映射到校正图像中；3D鱼眼图像校正是鱼眼图像中的像素点投影到空间中再根据校正模型将其映射到校正图像中。本文的主要工作如下：(1)对有关鱼眼相关文献进行了分析和总结，阐述课题研究背景及现状。讨论了图像校正相关理论知识，如：各种坐标系、针孔成像、透视投影、各种畸变和图像的预处理，针对鱼眼成像特点给出其相应的成像模型。(2)鱼眼图像圆形有效区域提取在其整个校正中至关重要，本文给出几种常用的鱼眼图像的圆形有效区域的提取算法并给出实验结果，从适应性、复杂度、计算量的角度指出其中缺点。(3)针对面积统计法、逐行逐列扫描法、区域生长法的缺点，本文提出了一种改进的鱼眼图像圆形有效区域提取算法并进行相应的验证，此外对这几种算法进行比较。(4)根据鱼眼图像成像特点，分别从2D和3D空间的角度校正鱼眼图像——经度坐标校正、等距投影校正、球面约束模型校正。关键词:鱼眼镜头；校正模型；有效区域提取；图像校正I南京邮电大学硕士研究生学位论文                                                                       AbstractAbstractAsfish-eyelenshavetheadvantagesofshortfocallength(f=6~16mm)andlargefield(abouteven),Thusithavebeenverywidelyusedinmanyareas,suchasvideoconferencing,videosurveillance,intelligenttransportation,panoramicviewetc.Butthefish-eyeimagesthataretakenwiththecamerahasaveryseriousdistortion,ifwewanttousetheinformationofprojectionimagewithseriousdistortion,thesedeformedimagesneedtobecorrectedtocomplywiththevisualhabitsoftheperspectiveprojectionimage.Therefore,Correctingtheimagesthatiscapturedbyfish-eyelensisworthyofthesubjectofresearch.01800270Theeffectiveareaneedtobeextractedbeforethefish-eyeimagecorrection.Itiscriticalintheentirecorrectionprocess.Inthispaper,animprovedalgorithmisgivenforthedeficienciesofseveralcommonlyusedextractionmethods.Theexperimentalresultsshowthatthemethodimprovesefficiencyunderensuringthepremiseofaccuracy.Thefish-eyeimagecorrectionisdividedinto2Dand3Dcorrection.2Dfish-eyeimagecorrectiondirectlymapthepixelofthefish-eyeimagetothecorrectedimage,3Dfish-eyeimagecorrectionisthatthepixelintheimageisprojectedintothreedimensionspaceandthenitismappedtothecorrectedimagebycorrectedmodel.Themainworksofthepaperareasfollows:(1)Therelevantliteraturesaboutthefish-eyeisanalyzedandsummarized,thatdescribesthedevelopmentoffish-eyeimagetechniqueandthesignificanceofthefish-eyeimagecorrection.Discussionoftherelevanttheoreticalknowledgeofimagecorrection,suchas:allkindsofcoordinates,thepinholeimage,perspectiveprojection,allkindsofdistortionandimagepreprocessing.Theimagemodelisgivenbythefeatureoffish-eyeimage.(2)Fish-eyeimageextractioncirculareffectiveareaisveryimportantthroughoutthewholecorrection.Thispapergivessomeusuallyusedtheextractionalgorithmsoftheeffectivecircularareaforfish-eyeimageandexperimentalresultsaregiven.Thepaperpointsouttheshortcomingsfromtheadaptability,complexity,computation.(3)Astheshortcomingofareastatistics,sweepinglinebylineandregiongrowing,thispapergivestheimprovementalgorithmoftheeffectivecircularareaforfish-eyeimageandtheII南京邮电大学硕士研究生学位论文                                                                       AbstractIIIcorrespondingverification.Inaddition,itcomparesseveralalgorithms.(4)Accordingtothecharacteristicoffish-eyeimage,fish-eyeimagearecorrectedrespectivelyfromtheperspectiveof2Dand3Dspace,suchas:longitudecoordinatecorrection,equidistanceprojectionandsphericalconstraintmodel.Finally,verifyingthealgorithms.Keywords:Fish-eyelen;Effectiveregionextraction;Correctionmodel;ImageCorrection 南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：_____________日期：____________南京邮电大学学位论文使用授权声明南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权南京邮电大学研究生院（筹）办理。研究生签名：____________ 导师签名：____________ 日期：_____________  南京邮电大学硕士研究生学位论文                                                                  第一章 绪论 第一章绪论1.1课题背景及研究意义如今，随着信号处理的速度发展、网络传输广泛应用、计算机处理速度的提高，基于鱼眼镜头的全方位视觉系统得到广泛的应用，如：虚拟实景技术[1]、机器人导航[2]、医疗[3]、全景漫游[4]、视频会议[5-6]等，在这些应用中都需要拍摄图像的终端，一般的摄像头的镜头多是普通镜头，它拍摄的视角范围较小，所拍摄的图像不能尽可能有效地反应所拍摄场景的全部信息。因此，可以考虑采用具有广角的鱼眼镜头来扩大拍摄范围。鱼眼镜头是一种短焦距、大视场(视场角约为180度甚至270度)摄像镜头，其前面的透镜似鼓起的鱼眼，鱼眼镜头之名由此得来。人眼的水晶体是扁圆形的，因此可以看到更远处的东西，而鱼的眼睛水晶体是圆球形，因此虽然只能看到比较近的物体，却拥有更大的视角，也就是看得更加广阔。鱼眼镜头是一种超广角的特殊镜头，其视觉效果类似于鱼眼观察水面上的景物，我们知道，鱼的眼睛其实同人眼构造类似，但是人眼的水晶体是扁圆形的，因此可以看到更远处的东西，而鱼的眼睛水晶体是圆球形，因此虽然只能看到比较近的物体，却拥有更大的视角，也就是看得更加广阔。根据光路可逆的规律，也就是说，如果在水中看空气中的东西的话，同样会有折射现象存在，而鱼眼镜头的原理就是根据这个获得的，如果说鱼眼在水中的视角是150度，那么其到空气中的视角可能就要达到180度。而鱼眼镜头的思路就是来自于这种特点，当然其实同鱼眼观察水面以外物体的关系真的不大，只是体现的效果比较类似，毕竟这里不存在水的折射率，只是镜头设计者研究了鱼眼的结构，才搞出了有意思的鱼眼镜头。图1.1鱼眼镜头拍摄的图像鱼眼镜头视角可以接近或者超过180度，对于135画幅的相机来说，鱼眼镜头的焦距多在1南京邮电大学硕士研究生学位论文                                                                  第一章 绪论 6-16mm之间，视角一般都在170度左右，由于视角超大，因此其桶形弯曲畸变非常大，因此画面周边的直线都会被弯曲，只有镜头中心部分的直线可以保持原来的状态。180度鱼眼150度鱼眼120度鱼眼90度鱼眼图1.2不同视角的鱼眼图像鱼眼镜头无论如何它的边缘线条都是要弯曲的，即使90度的鱼眼也是这样，这种畸变我们在很多广角镜头上都可以看到，而这就是明显的桶形畸变。同样的120度的鱼眼看起来弯曲的更加厉害一些了，而且被容纳进范围的景物更多；150度同样如此，而180度的鱼眼则可以把镜头周围180度范围内