北邮计算机视觉chp09

2020年9月16日星期三北京邮电大学自动化学院1明暗分析Chapter9ShadingAnalysis第9章2020年9月16日星期三北京邮电大学自动化学院2成像物理学(ImagingPhysics)•描述光在物体表面的反射物理特性，即光从光源到达物体表面，再从物体表面反射到图象平面，形成图像的过程和行为.•成像几何确定场景点在图像平面上的位置，成像物理学确定场景点在图象平面上的亮度.2020年9月16日星期三北京邮电大学自动化学院3形状恢复(ShapefromX)•根据二维图象估计形状的三维信息.•从明暗恢复形状(X=shading):根据一幅图像中的亮度变化来恢复形状•光度立体(X=photometricstereo)根据同一场景的多幅图像来恢复形状，其中不同图像对应不同的光源.•从纹理恢复形状（X=texture）根据图像中纹理的方向来恢复形状2020年9月16日星期三北京邮电大学自动化学院49.1成像物理学•成像三要素：光源、物体、图像平面•两个过程：照明--光源发射光到物体表面反射--物体表面反射光到图象平面2020年9月16日星期三北京邮电大学自动化学院5（1）表面方向半球•物体表面接受(反射)光线的全部方向.其接受(反射)的总能量等于半球上各个小片的能量之和.•立体角(solidangle)单位半球上小片的面积，也表示接受(反射)能量的方向.iiidddsin2020年9月16日星期三北京邮电大学自动化学院6（2）透视缩小效应•表面片接受（反射）光能的有效面积与该表面片和光源（图象平面）的角度有关.倾斜于光线传播方向的表面片“看起来”比实际小.•发生透视缩小效应的大表面片与小表面片接受的光能是相同的.透视缩小因子ddddAsincoscos2020年9月16日星期三北京邮电大学自动化学院7（3）辐照度与辐射度•辐射度(radiance)：单位面积辐射表面在单位时间内向某一方向辐射的能量•辐照度(irradiance)：单位时间到达单位面积表面的辐射能量•光源只有辐射，图像平面只有辐照，物体既有辐照，也有辐射.2020年9月16日星期三北京邮电大学自动化学院8（4）双向反射分布函数•中心问题物体表面接受光能（辐照度）和反射光能（辐射度）的关系.•与接受和反射光能的角度，以及表面材料有关.用双向反射分布函数(BidirectionalReflectanceDistributionFunction,BRDF)建模.2020年9月16日星期三北京邮电大学自动化学院9双向反射分布函数•到达表面的辐照度与所引起的辐射度的比例辐射度BRDF辐照度),(),,,(),(iieeiieeEfL对大多数材料来说，BRDF只取决于入射和发射角之差：),(),,,(eieieeiiff2020年9月16日星期三北京邮电大学自动化学院10（5）表面的辐射度与辐照度•表面片接受的总辐照度：202/0202/0202/00sincos),(cos),(),(iiiiiiiiiiiddIdIdAII式中，表示从方向上穿过半球单位立体角上的辐射量。),(iiI),(ii2020年9月16日星期三北京邮电大学自动化学院11表面片的辐射度：所有辐照在相应方向上形成的辐射度之和202/0sincos),(),,,(),(iiiiiieeiieeddIfL2020年9月16日星期三北京邮电大学自动化学院12（6）图象平面的辐照度•图像平面上一点处的辐照度(亮度，intensity)等于场景对应点在相应方向上的辐射度，或与之成比例.eekLzyxkLyxE,,,),(•知道了光源、双向反射分布函数以及图像平面点与物体点的对应关系，就可以确定图象平面上点的亮度.2020年9月16日星期三北京邮电大学自动化学院139.2表面模型（SurfaceModels）1.兰伯特Lambertian表面(漫反射表面，diffusesurface)2.镜面(SpecularSurfaces)3.Lambertian表面+镜面2020年9月16日星期三北京邮电大学自动化学院149.2.1Lambertian表面•表面反射与反射角度无关，从物体的各个方向看同一个表面点，都感觉具有同样的亮度.•双向反射分布函数是一个常数.),,,(rriif例：棉衣、地毯、无光泽的纸和涂料等等2020年9月16日星期三北京邮电大学自动化学院15Lambertian表面的反照率(Albedo)•Lambertian表面的反射率与入射角度无关，称为漫反射率(diffusereflectance)或反照率：drrrrrrrrrriidddddfsincoscoscos,,,2020年9月16日星期三北京邮电大学自动化学院16Lambertian表面的辐射度•Lambertian表面上一点处向各个方向产生的辐射度：202/00202/0cossin),(cossin),(),,,(IddIddIfLdiiiiiidiiiiiieeii2020年9月16日星期三北京邮电大学自动化学院17即指由点光源照明的表面片的感觉亮度随着单元表面法线的入射角度变化而变化．点光源：Lambertian余弦定律sdeeILcos),(0是表面片的法线与光源方向矢量间的夹角．s随入射角变化是由于因为相对于照明方向表面片的透视缩比效应．换句话说，一块给定面积的表面片，当它的法线指向照明光线方向时，可以获取最多的光照．当表面法线偏离照明方向时，从照明方向看过去的表面片面积变小了，因此表面片的亮度也降低了．2020年9月16日星期三北京邮电大学自动化学院18均匀照明假定照明不是一个点光源，而是在所有方向都是均匀的，其发光总强度为，那么亮度可由下式给出：I00),(ILdee现在，Lambertian表面的被感觉的亮度在所有方向上都相同，这是因为不管表面片朝向何方，它都能接收到同样数量的照明．2020年9月16日星期三北京邮电大学自动化学院199.2.2镜面•理想镜面像理想的镜子一样，按一定方向反射入射光.反射角与入射角相等，但分别位于表面片法线的两侧.换句话说，从方向来的光线的反射方向．•镜面的BRDF为:(,)ii(,)(,)eeiiiiieieeeiifcossin)()(),,,(2020年9月16日星期三北京邮电大学自动化学院209.2.3Lamertian表面+镜面•完美的Lamertian表面或镜面都是很少见的，通常将两种表面的特性组合在一起来构成用于近似物体表面反射特性的模型.常量控制两种反射特性的混合程度.iiieiedeeiifcossin)()()1(),,,(2020年9月16日星期三北京邮电大学自动化学院219.3表面方向对物体上任意一点，它的图像坐标为。),,(zyx),(yx2020年9月16日星期三北京邮电大学自动化学院22在光度立体视觉中，为了简化问题，一般假定物体表面各点值的变化远小于物体到摄象机的距离，常常认为物体上的所有点。0zz2020年9月16日星期三北京邮电大学自动化学院23根据透视投影公式，并设，有如下等式：0/zfxxyyyyzxxzzxzpqzypxzqyzzz令：则：如果能够根据上式求出，就能求出关于一个常数因子的物体形状。这样问题就归结为求取表面梯度矢量。z(,)pq2020年9月16日星期三北京邮电大学自动化学院24表面片的法线与梯度的关系如下：)1,,(qpn221)1,,(ˆqpqpnnn222222221111)1,,(1)1,,(cossssssssssqpqpqqppqpqpqpqp2020年9月16日星期三北京邮电大学自动化学院25•场景照明（光源）、表面反射特性和表面方向（梯度表示）共同确定表面一点的亮度，三者的组合形成反射图.9.4反射图(ReflectanceMap)2020年9月16日星期三北京邮电大学自动化学院26灰度图象轮廓图象点光源照射的Lambertian表面典型反射图2020年9月16日星期三北京邮电大学自动化学院27假设图象平面上的辐照度（亮度）等于物体表面对应点的辐射度，则已知反射图和以上三个因素，就可以确定图象上一点的亮度.),(),(qpRyxE2020年9月16日星期三北京邮电大学自动化学院289.5从明暗恢复形状•基本计算公式：),(),(qpRyxI•问题：已知图象亮度和反射图，求解图象上每一点对应的三维信息•未定系统：一个方程，多个未知数•需要引入其他约束亮度(intensity)约束2020年9月16日星期三北京邮电大学自动化学院29•约束1.亮度约束dxdyRI22.光滑性约束dxdyqqppyxyx2222xppxdxdyyx22nn或者，2020年9月16日星期三北京邮电大学自动化学院303.可积性约束4.亮度梯度约束dxdyqpxy2dxdyIRIRyyxx222020年9月16日星期三北京邮电大学自动化学院31合成图象实际深度图ZhengandChellapaBichselandPentlandLeeandRosenfeldPentland2020年9月16日星期三北京邮电大学自动化学院329.6光度立体我们知道，图像辐照方程包含有两个未知数，表面方向p和q。在由图象明暗恢复形状方法中，为了能求解这两个参数，增加了一个光滑连续约束。本节将介绍另一种方法，称为光度立体视觉。其基本思想是通过不同的光源产生不同的图像辐射方程来增加方程数目，以求解表面方向p和q。),(),(11qpRyxE),(),(22qpRyxE2020年9月16日星期三北京邮电大学自动化学院33图9.7在两个不同光源照射下的两个反射图迭加示意图222222222212122111111),(111),(qpqpqqppqpRqpqpqqppqpR2020年9月16日星期三北京邮电大学自动化学院34图9．8立体光度原理示意图．图象辐照测量值被归一化成单位间隔2020年9月16日星期三北京邮电大学自动化学院35).(),(qpRyxE221)1,,(ˆqpqpn221)1,,(ˆiiiiiqpqps表面法线方向：点光源i方向：nsˆˆiiE对点光源，图象辐照方程是：2020年9月16日星期三北京邮电大学自动化学院36zyxzyxzyxsssssssssS,3,3,3,2,2,2,1,1,1321ˆˆˆsss321EEEEnEˆSEn1ˆS