第九章 3D视觉

XyYxzZ-f摄象机成像原理1、光照原理：光学图象中对应与物体某一点的光学特性是该点由镜反射和谩反射光的综合，它不仅与入射光的强度、光色及方向有关，而且与该物体本身的质料有关，也与物体表面的几何形状有关。2、透视原理：可见（X,Y）与z（A到透镜平面的垂直距离）成反比，与焦距f成正比。像平面上只有XY二维信息，在透视过程中损失了z发现的信息。zfyYzfxX,9.1表面反射特性1、场景亮度与图象亮度（1）什么是辉度与照度•辉度：光源（物体）表面射出的光通量；是光源表面单位面积在单位立体角内发出的功率；•照度：照射到目标表面的光通量；是射到目标表面的单位面积的功率；（2）什么是场景亮度与图象亮度•场景亮度：对应物体表面发射出的光通量，是物体表面的辉度；•图象亮度：对应于图象平面得到的光通量，是图象平面的照度；（3）场景上一个点的场景亮度与图象平面上一个点的图象亮度之间的关系ZαδIαθ-ZfδOd/2从镜头中心观察目标面元δO的立体角：从镜头中心观察目标面元δO的立体角：由两个立体角相等可以得到：从目标面元看到镜头所对应的立体角为：2)cos//(coszO2)cos//(cosfI2coscosfzIO3222cos4)cos/(1cos4zdzd这样由目标表面面元射出并穿越镜头的功率：所以图象面元得到的照度：由此可见：图象照度E与场景灰度L成正比。coscos4cos32zdOLOLPcoscos432zdIOLIPE42cos4fdLE(4)双向反射分布函数BRDF法线观察者光源(Θe,фe)(Θi,фi)光线法线фθ•BRDF是表面辉度与照度的比值，即：它表示当光线沿着入射物体表面而观察者在方向所观察到的表面明亮情况，关于入射和反射方向是对称的。它指示了表面的反射特性，不同的表面具有不同的反射特点。),(),(),,,(iieeeeiiELf•若设为沿方向单位立体角的照度，则这个表面所接受的照度为：),(0iiE),(ii2/00cossin),(iiiiiiddEE2/0cossin),(),,,(),(iiiiiieeiieeddEfL2表面反射特性和亮度(1)Lambertian表面理想漫反射表面，从所有观察方向看它都是同样亮的，并且它不吸收地反射所有入射光，•Lambertian表面的双向反射分布函数是个常数所以：也既照度与辉度的关系为：iiieeeeiiieeiiEddEfcos),(cossincos),(),,,(2/0/1),,,(eeiif/EL•Lambertian定律：当一个Lambertian表面被具有照度E的点光源照明时，则：iELcos1（2）理想镜反射表面将表面所有方向的辉度积分，它应该与表面得到的总照度相等：镜面反射的总辉度为：)()(),,,(ieieeeiikf1cossincossin)()(2/0iieeeeieiekddkiiieieeeiifcossin)()(),;,(),(cossin),(cossin)()(),(2/0eeiiiiiiiiieieeeEddEL9.2ShapFromShading1、表面法向的梯度表示设表面S的方程为Z=f(X,Y)，则点（X，Y）处的梯度为N=(-p,-q,1),其中：由（p,q）组成的空间称为梯度空间。YYXfqXYXfp),(,),(2反射图设点光源照射一个Lambertian表面，则其辉度：若表面法向矢量为：，光源方向为：，则由n.s得：iELcos1)1,,(qpn)1,,(ssqps2222111cosssssiqpqpqqpp由此得到场景亮度与表面朝向的关系，记这样得到的关系函数为将其作为梯度（p,q）的函数以等值线的形式画出而得到的图称为反射图。反射图取决于目标表面材料的性质和光源的位置，或者说，反射图综合反映了表面反射特性和光源分布的信息。2222111),(ssssqpqpqqppqpRpq3图象亮度约束方程•反射图表示了表面亮度与表面朝向的以来关系，图象上一点的照度I(x,y)是正比于场景中目标表面对应点亮度的。所以：•I(x,y)=R(p,q)•这个方程称为图象亮度约束方程。它表明在图象中（x,y）处像素的灰度I(x,y)取决于该像素由（p,q）所表达的反射特性R(p,q)。4问题求解•反射图R(p,q)到图象灰度的映射是唯一的，但是，反过来却不一定，有时甚至无限多个表面朝向可给处相同的亮度；•为了恢复表面朝向需要引入新的信息：利用在不同光线下，采集的两幅图象可对每个图象点产生两个方程：•I1(x,y)=R1(p,q)I2(x,y)=R2(p,q)•如果方程线性独立，则有唯一解，否则，可以有多个解或者无解。•实际情况常使用3个不同的光源，这不仅可使方程线性化，更重要的是可提高精度和增加可求解的表面朝向范围。9.3ShapfromStereo----从双目图象中获得深度1、基本思想：对于同一物体，从不同地点观察得到的视觉平面图象中，其对应的位置是不同的，根据这些差异利用透视成像模型可以反过来推测物体的三维空间坐标。（X1/X2，Y1/Y2，Z1/Z2）X2/x2X1/x1O2’O1’Z1Z2O2O1(x2,y2)fBy2x2y1x1(x1,y1)B镜头中心2、深度的计算根据摄象机成像模型：由于：；可以得到：上面两个式子相减：上式把物体与像平面的距离（3D信息中的深度）与视差D（像坐标的差）直接联系起来，视差的大小与深度有关。所以视差中包含了3D物体的空间信息。另外世界坐标系的其他两个坐标也可以算出来。)(111ZffxX)(222ZffxXBXX12ZZZ12)(11ZffxX)(21ZffxBXDBfxxfBfZ1129.4ShapfromMotion1、延伸焦点FOE：直线运动的出发点或者消失点。虽然在实际空间的无限远处，但是可以在图象中找到。2、FOE的计算wtzvtyzyywtzutxzxx0000''wvywux''x’xyP0PoP’0P’y’P2P1FOE3、深度估计由得到：)()()()()()()()(22221111twtztVtDtwtztVtD)()()()()()(211212tVtVtDtDtztz)()(21twtw4、空间位置由可以得到：)()()()(tVtwtDtz1)()(')(tztxtx)()()()(')(tVtwtDtxtx)()()()(')(tVtwtDtyty