kinect外文文献翻译

3D与Kinect扬斯米谢克，米哈尔Jancosek和TomasPajdla控制论，费用，在布拉格捷克技术大学的CMP摘要我们分析的Kinect作为3D测量设备，实验调查深度测量分辨率和误差性能和使超高动力学的定量比较精度立体声重建从单反相机和一个3D-TOF相机。我们提出的Kinect几何模型和它的校准程序提供精确的校准Kinect的3D测量和Kinect摄像头。我们通过整合演示的Kinect校准的功能它变成一个SFM管道，其中三维测量从运动的Kinect被变换成一个共同的坐标系统通过从比赛计算相对姿态彩色摄像机。1.简介Kinect正成为一个重要的三维传感器。它接收了大量的关注表示感谢，以人迅速对构成三维测量上开发识别系统。测量的成本低，可靠性承诺使Kinect的主要3D测量室内机器人，三维场景重建设备，和物体识别。在本文中，我们提供的几何分析Kinect的，设计它的几何模型，提出了一个校准过程，并展示其性能。方法建模Kinect的几何形状，从而出现近日，为了解一个良好的基础传感器。主要有以下几种最相关的作品。文献结合OpenCV的摄像机标定用Kinect的逆差距的计量模型来获得基本Kinect的校准程序。他没有学习Kinect的传感器的特定功能，并没有纠正他们。几乎相同的程序实施活性氧，其中该红外线之间的表观位移和深度图像被校正。这种做法的另一个变化出现在，其中的OpenCV校准替换通过Bouguet的校准工具箱。我们建立在以前的工作之上，并设计了一个精确的校准程序的基础上考虑的几何模型，以及作为一个额外的校正程序会计“学习”对于剩下的非建模误差。我们使用全相机型号和他们的校准程序为实现在，超高动力学逆视差之间的关系和深度如，正确深度和红外图像位移如，并添加其他校正训练有素的校准板的例子。我们证明该校准超高动力学可以与结构相结合运动来获得三维数据一致的坐标系中，允许通过多视角来构建观测到的景物的表面立体声。我们的对比表明，Kinect是优越在精度SwissRangerSR-40003D-TOF相机接近中等分辨率单反立体声钻机。我们的研究结果是根据[10]其中兼容观测关于Kinect的深度量化被提及。图1.Kinect的由红外（IR）投影仪，红外照相机和RGB摄像头。图2.Kinect的两尼康D60单反相机钻机。2.作为Kinect的三维测量装置Kinect是由一个红外投影仪的复合设备一图案和IR照相机，其用于三角测量点在太空中。它可以作为一个深度摄像头，以及一颜色（RGB）相机，它可以用来识别图像内容和纹理的3D点，图1作为测定装置，超高动力学提供三种输出：红外图像，RGB图像，以及（逆向）深度图像。2.1红外图像IR（1280×1024像素的57×45度视场，6.1mm焦距长，5.2μm像素大小）摄像头是用来观察和解码红外投射图案三角3D场景。如果由卤素灯[16，19]，同时提供适当的照明红外投影受阻，如图7（c，d）中，它可以可靠地校正由[2]使用用于相同的棋盘图案在RGB摄像头。相机表现出不可忽略的径向和切向变形，标签2。2.2RGB图像RGB（1280×1024像素的63×50度视场，2.9毫米焦距，2.8μm像素大小）相机提供介质质量的图像。它可以由[2]进行校准和用于跟踪由SFM系统，例如照相机运动[17，7]。2.3深度图像超高动力学的主要原料输出是对应的图像到的深度在场景中。而不是提供实际深度z，Kinect的返回“逆深度”d图。图3（a）。考虑到深度分辨率达到的Kinect的（部分2.4），我们通过模型等式。5建议在[3]。深度图像是通过三角测量构造从红外图像和投影，因此它是由IR图象，等式“携带”。5。2.4深度解析图3（b，c）表示深度分辨率的函数距离。深度决议通过移动测量Kinect的距离（0.5米，15米）从平面靶足够精心录制返回所有值约5◦视图围绕图像中心领域。量化步骤q的大小，也就是距离两个连续的记录值之间，被发现是深度z的以下函数：q(z)=2.73z2+0.74z−0.58[mm].(1)以Z米。q中开始，RESP值。的操作范围在末端，分别为q(0.50m)=0.65mm,resp.q(15.7m)=685mm.(a)Kinect逆深度作为实际深度的函数。(b)深入Kinect的量化步长Q（0-15米）。(c)Kinect的深度量化步长（0-5米细节）。2.5红外图像和深度图像之间切换发现IR和深度图像被移位。为了确定移位[U0，V0]？几个不同的目标被捕获红外和深度图像，图。图4（a）。对比目标从背景和分割出移是通过使分割的形状在确定最好对准，图图4（b）。几个实验对象不同结果形状如表1所示。1.移估计为平均值在所有实验。我们的结果表明，在深度使用尺寸的相关窗口7×7像素计算处理。这是接近9×9的窗口大小估计在[11]。(a)对准前（b）对准后图4.红外深度图像移位和校正。一个目标的红外图像显示为黑色。的深度图像目标是通过其白边表示。表1.红外深度摄像头像素位置偏移。3.Kinect的几何模型我们建模的Kinect作为由多视图系统RGB，红外和深度摄像头。RGB的几何模型和红外摄像机，其投射一个三维点X为图像点[U，V]?,由[2]给出的失真参数K=[K1，K2，。。。，K5]，摄像机标定矩阵K，旋转R和摄像机中心C[6]。图5.Kinect的几何模型。超高动力学的深度相机相关联的几何红外相机。它返回逆深度d沿z轴，图5，对每个像素[U，V]的红外摄像机作为其中，U，V是由方程给出。3，真正的深度z由公式。4，[U0，V0]按Tab键。1，X代表一个3D的三维坐标点，以及C1和C0是模型的参数。我们联想Kinect的坐标系与红外相机，因此得到RIR=我和CIR=03D点XIR构造从测量[X，Y，D]在深度图像通过并投射到RGB图像作为其中，存款保险计划是由等式给出的失真函数。3，基里巴斯，kRGB是红外的各自失真参数和RGB摄像头，KIR是红外摄像机标定矩阵KRGB，RRGB，CRGB是校准矩阵，所述旋转矩阵和中心将RGB摄像头。4.Kinect的标定我们校正[2]Kinect的摄像头一起通过展示相同的校准目标到IR和RGB照相机，图7（c）。以这种方式，两个照相机被校准w.r.t.该相同的3D点和相机WRT的因此姿势点可以链接给他们的相对姿态，图8.以直角坐标红外相机作为系统Kinect的全球坐标系，使相机相对造成等于RRGB，CRGB。标签。2，第3显示内部参数和图图6显示效果在摄像机的扭曲。我们包括切线畸变，因为它的非忽略增加了整体三维测量的精度。图。图7（a）示出了该IR图像在正常运行的Kinect标定板当它是由其IR发射照亮。更好的图像是通过阻断红外投影仪和照明获得由卤素灯图偏出。图7（b）。图6.既Kinect的摄像头预估失真的影响。红色数字表示的尺寸和箭头的方向像素位移引起的透镜失真。交叉显示图像中心的圆的主点的位置。图7.在IR，RGB和深度图像的校准板。参数C0，深度相机的C1被校准如下。我们得到了N次测量，正从深度图像全部校准点，图7（d）。笛卡尔坐标相同XIRi校准点测量在IR笛卡尔系统通过交叉投影点进去红外图像的光线用最好的平面装配到重建的校准点。参数C0，C1进行了优化，以最合适的XDI到使用等式6。表2.Kinect的红外摄像机内部参数。表3.Kinect的摄像头RGB内部参数。图8.位置和Kinect的IR和RGB摄像头的方向与单反一对立体声（左，右）与3D完全校准重建在平面校准目标点。图9.平面残差拟合出的固定模式噪声从不同的距离的深度图象。表4.评价的z修正。的标准偏差平面的残差拟合到平面目标的测量已经减少。4.1学习复杂的剩余误差它已经观察到超高动力学校准与上述程序仍然呈现小而相对复杂的残余错误近距离测量。图。9显示残差平面拟合到校准Kinect的测量后平面靶的跨越视场。目标已被抓获，从18个不同的距离，从0.7至1.3米，高度相关的残差进行核算。沿250水平深度图像行残差图10（a）。残值是一贯的积极中心和负在外围。为了补偿该残留误差，我们形成z值的Z校正图像构造为所有的残余图像的逐像素平均。的z校正图像是从z中减去坐标XIR的计算等式所。6。为了评估该修正方法，在z校正图像从甚至图像，然后对残差构建施加到奇数（表的第一行。4）和偶数（第二行选项卡中。4）深度图像。的标准偏差残差下降。施加的z校正Kinect的测量后从在第5.1节，平均所描述的实验的残留误差减少了约0.25毫米，图。图10（b）。在4410点的残差进行评价跨越视场。5.验证5.1Kinect的，SLRStereo和3DTOF的比较我们比较的平面靶的测定精度通过Kinect的，单反立体声和3DTOF相机。Kinect和单反立体声（图像尺寸2304×1536像素）分别为刚性地安装（图2）和校准（图8）在一起。单反立体声被重建校准点完成由[2]提取并通过线性最小二乘三角三角[6]。他们测量了同一平面靶中315控制校准点在每个14的目标。SR-40003DTOF[13]不同的测量平面靶，但在一个可比的距离范围0.9-从1.4米在每个11的88控制校准点传感器校准目标。误差e，标签。5，对应于由传感器返回的点之间的欧几里德距离和在校准的过程中重构点的传感器的相机。单反立体声是最准确的，Kinect的遵循和SR-4000是最准确的。图10.纠正复杂的剩余误差表5.单反立体三角对比，Kinect和SR-40003DTOF深度传感。图11.从超高动力学的RGB摄像机和图像的实施例被用于现场重建了相应深度5.2结合Kinect和SFM图11示出的一对1/2分辨率（640×480）的KinectRGB图像和沿途经过的RGB光线的深度图像中的像素通过计算等式。507.序列RGB-深度图像对已获得的该的RGB相机的姿势已经计算由SFM管道[17，7]。使用Kinect的标定，真深度图像已经计算并一起注册。图12（a）表示从得到的3D点重建的表面仅仅通过多视点立体[9]在Kinect的RGB图像。12（b）表示通过使用所获得的改善加入注册的Kinect3D数据后，同样的方法。图。13比较3D表面重建从点云计算飞机清扫[9]70Kinect的通过的表面reconstruciton处理的3D数据[9]（2304×1536像素）。超高动力学三维数据被登记到一个公共通过SFM坐标系[17，7]应用到Kinect的图像数据。我们可以看到，多个测量时，被使用，结果与Kinect是相当类似，以更准确的多视图atereo重建。六结论我们提供的Kinect3D测量的分析能力和校准程序，允许合并Kinect的与SFM和多视点立体，这将打开用于超高动力学应用的新领域。有趣的是，观察到在多视点重建的质量，Kinect的overperformedSwissRangerSR-4000和接近3.5米像素单反立体声。图12.现场重建，从Kinect的摄像头的RGB。该图为重建质量时的比较场景采用多视点立体和情况下，只有重建当从Kinect的三维数据也是可用的。图13.Kinect的比较多视图重建参考文献[1]D。Avrahami等。RGB-D：技术和用法对于Kinect的深度风格的相机。HTTP：//ILS。intel-research.net/projects/rgbd，2011年1月[2]J.Y.Bouguet。摄像机标定工具箱HTTP//，2010年1月[3]N.比吕斯。Kinect的校准。HTTP：//nicolas.burrus.name/index.php/Research/KinectCalibration。[4]一Dryanovski，W.莫里斯和S.Magnenat。Kinect的节点，2010。[5]B.弗里德曼，AShpunt，MMachline和Y