张海花-结构光视觉测量系统的计算机仿真

1结构光三维成像系统的计算机仿真张海花李勇*许富洋金可有（浙江师范大学信息光学研究所，浙江金华321004）摘要以相位测量轮廓术为例，由摄像机模型出发，提出一个结构照明三维成像系统的高精度计算机仿真算法。对于给定的物体三维模型，首先根据系统结构，采用z缓冲技术消除遮挡和阴影部分，得到与摄像机像素点对应的物体表面采样点三维坐标。其次基于投影是摄像的逆过程这一事实，使用统一的数学模型和方法处理投影过程。根据摄像机及投影仪的内、外参数，最终得到了摄像机像素点、物体表面采样点和投影仪像素坐标三者之间的对应关系。从而实现了结构照明三维成像系统仿真，为实际系统的结构设计、调整和参数校正提供了新的途径。关键词光学三维传感、结构照明、相位测量轮廓术中图分类号TN206文献标识码ComputerSimulationtoMeasurementSystemUsingStructuredIlluminationZHANGHaihuaLIYongXUFuyangJINKeyou（InstituteofInformationOptics,ZhejiangNormalUniversity,Jinhua321004）AbstractAmethodwithhighprecisionisproposedtosimulatemeasurementsystemusingstructuredillumination.Phasemeasuringprofilometry(PMP)istakenasanexampletosimulatemeasurementsystem.Aboveall,accordingtotheintrinsicandextrinsicparametersofcamera,3Dcoordinatesofsamplingpointsontheobjectsurfacearecalculatedfromthecorrespondingpixelsofcamera.Zbufferingtechniqueisusedtoeliminatetheshadowandocclusion.Thenprojectorisregardedascameraactinginreverseinaccordancewiththereversibilityoflightpathprinciple.Uniformmodelisusedtoprocesstheprojector.Finally,theresultshowsthecorrespondingrelationsamongcameracoordinate,samplingpointofobject,projectorcoordinate.Therefore,3Dstructuredilluminationsystemissimulated.Anewwayisprovidedtodesignandadjustpracticalsystem.KeywordsOptical3Dsensor,Structuredillumination,Phasemeasuringprofilometry1引言基于结构光照明的三维成像技术是目前广泛应用的一种非接触测量技术[12]，在检测工业产品质量、物体识别、虚拟现实、文物修复等方面都有广阔的应用前景。利用计算机对测量系统进行仿真，可以减少系统设计的工作量，为优化系统提供了便利。梁、苏等[3]提出了一种结构照明三维成像系统的仿真方法。该方法采用反向光线追迹方法，实现了无畸变的、投影光轴和成像光轴共面情况下的测量系统仿真，取得了很好的结果。本文从摄像机的数学模型出发，考虑摄像机和投影仪的畸变之后，提出一种结构照明三维成像系统的高精度计算机仿真算法，可实现多种结构的系统仿真。本文还讨论了仿真的原理、方法及结果。2仿真系统原理2.1摄像机数学模型国家自然科学基金项目资助（60702078）张海花（1983年9月），女，河北邯郸人，现为浙江师范大学信息光学研究所硕士研究生，主要研究方向为信息光学，E-mail：[e-mail]*通信作者2如图1所示，理想情况下摄像机的成像模型可以用针孔模型表示[4]。其中XwYwZw为世界坐标系，XcYcZc为摄像机坐标系，uv为图像坐标系。世界坐标系中一点p(Xw,Yw,Zw)的摄像机坐标(Xc,Yc,Zc)可以表示为：TZYXRZYX（1）其中R为世界坐标系到摄像机坐标系的旋转矩阵，T为平移向量。由于摄像机存在光学系统的加工误差和装配误差，实际成像系统与理想的针孔模型之间存在光学畸变误差。镜头畸变主要有径向畸变和切向畸变。因此在模拟结构光三维成像系统时，需要考虑摄像机畸变。令x=Xc/Zc,y=Yc/Zc，对摄像机坐标归一化，则摄像机的径向畸变yrxr可表示为：...)(),(...)(),(634221634221rkrkrkyyxrkrkrkxyxyrxr（2）其中r2=x2+y2,k1,k2…为径向畸变参量。摄像机的切向畸变ytxt可表示为xypyrpyxxrpxypyxytxt222122212)2(),()2(2),(（3）其中p1,p2为切向畸变参量。考虑摄像机畸变之后，p点在归一化摄像机坐标系中的实际坐标可表示为：),(),(),(),(yxyxyyyxyxxxytyrdxtxrd（4）再由透视变换可以得到p点在图像坐标系中的坐标：111000100ddddvuyxAyxvfusfvu（5）其中fu、fv分别为u、v两个方向的归一化焦距，s为坐标轴的倾斜因子，u0、v0分别为主点的图像坐标。在结构照明三维成像系统仿真中，除了成像外还需要由uv坐标求XWYWZW坐标。这是成像系统投影系统待测物体参考平面图2PMP测量原理图Fig.2SketchdiagramofPMPuv(u0,v0)(u,v)XcZcYcXwYwZwpf图1摄像机模型Fig.1Modelofcamera3一个后向投影问题，由于畸变模型（2）、（3）两式为非线性方程，一般无法求出x，y。因此需要其他方法，常用的有叠代法、多项式近似等方法[5]。本文采用叠代法求解。2.2对应点求解原理图2为结构照明三维成像系统的原理示意图。系统主要由投影仪、摄像机组成。由投影仪投射编码结构光，摄像机拍摄被物体表面反射的图案，通过分析图案得到摄像机和投影仪的对应点对。根据三角关系得到物体表面三维形貌。仿真中，我们将摄像机看成投影仪。从摄像机像面坐标（u,v）出发，根据摄像机内参数，由(6)式求出其对应的有畸变得归一化坐标(xd,yd)。TTddvuAyx111（6）然后根据摄像机的畸变系数，采用叠代法求出消除畸变后的归一化坐标(x,y)。最后根据摄像机外参数，采用光线追迹法得到摄像机像面坐标（u,v）对应的物体表面采样点坐标（XW,YW,ZW）和亮度。获得物体表面采样点坐标后再根据投影仪参数，应用公式（1）到（5）计算得到对应的投影仪图像坐标。这样就完成了摄像机图像坐标、物体表面采样点和投影仪图像坐标之间的对应点计算。2.3阴影及隐藏面消除方法阴影是指在投影仪视线方向上被遮挡的待测物体表面。将投影仪看成光源，我们利用OpenGL在投影仪位置处设置与投影仪属性相同的光源，得到阴影区域。隐藏面是指在摄像机视线方向上被遮挡的待测物体表面。我们利用OpenGL的Z缓冲技术来消除隐藏面。即在OpenGL中设置摄像机位置，进行渲染后读取其z-buffer中的数据，得到的就是消除隐藏面和阴影后的物体表面采样点。3计算机模拟流程及结果我们采用OpenGL进行仿真，程序设计的流程如图3所示。首先给出测量系统结构参数并选择物体描述；其次根据系统结构参数设置光源、摄像机位置；再读取其z-buffer中的数据，得到消除隐藏面和阴影后的物体表面采样点的Z轴坐标Zw和物体的反射率；最后由摄像机像面坐标（u,v）及对应的世界坐标Zw出发，根据系统参数建立摄像机像素点、物体表面采样点和投影仪像素坐标三者之间的对应关系。图4为采用3d建模软件得到的仿真用三维模型。图5为模型的反射率。系统的结构参数如下：摄像机到世界坐标系的旋转向量Rc＝[-0.0103,0.9902,0.1389;0.9996,0.0066,0.0270;0.0259,0.1392,-0.9899],平移向量为:Tc=[-115.0183;-214.5128;583.9590];摄像机的内部畸变参数为kc1=-0.11514;kc2=-0.27057;pc1=-0.00175;pc2=-0.00061;投影仪到世界坐标系的旋转向量Rp＝[-0.0314,0.9933,-0.1113;0.9989,0.0272,-0.0392;-0.0359,-0.1124,-0.9930],平移向量测量系统参数物体描述设置光源、摄像机位置求解摄像机图像坐标（u,v）对应的物点（XW,YW,ZW）求解物点（XW,YW,ZW）对应的投影仪图像坐标图3仿真流程图Fig.3Flowchartofsimulation图4模型三维数据Fig.43Ddataofmodel4Tp=[-108.7161;-69.4706;887.7411];投影仪的内部畸变参数为kp1=-0.09364;kp2=0.07413;pp1=-0.00265;pp2=-0.00122;摄像机到投影仪的旋转向量om=[-0.06774,0.24509,0.01897],平移向量T=[-147.19253,105.14389,274.74243]。用设计的仿真软件对相位测量轮廓术系统进行仿真，根据测量系统结构参数，模拟系统的成像过程，计算得出投影仪的图像坐标。考虑了模型的反射率之后，得到了图6所示的变形条纹，其中条纹周期为8个像素。4结论利用计算机进行结构照明三维成像系统的仿真，可以减少系统设计的工作量，为测量系统的结构优化提供方便。根据光路可逆原理，从摄像机数学模型出发，采用统一的模型处理成像和投影过程，设计了结构照明三维成像系统的高精度计算机仿真软件。利用该软件及3d建模得到的数据，对PMP测量系统进行了仿真，达到了预期目的，为实际PMP系统的结构设计和参数校正提供了新的途径。参考文献：[1]F.Chen,G.M.Brown,M.Song.Overviewofthree-dimensionalshapemeasurementusingopticalmethods[J].Opt.Engng.,2000,39(1):10-22.[2]SuXianyu,BallyG.V.,VukicevicD.Phasesteppinggratingprofilometry:Utilizationofintensitymodulationanalysisincomplexobjectsevaluation[J].Opt.Commun.,1993,98(1):141-150.[3]梁晓萍,苏显渝.物体面形对结构光场的空间调制:计算机模拟[J].光电工程，1994，21(3):25-32.[4]张广军.视觉测量[M].第一版，北京：科学出版社，2008：30-36.[5]Guo-QingWEI,SongDeMA.Acompletetwo-planecameracalibrationmethodandexperimentalcomparisons[C].IEEEProc.4thInternationalConferenceonComputerVision,Berlin,Germany,1993:439-446.图5模型反射率Fig.5Reflectivityofmodel图6变形条纹Fig.6Deformedpatterns