计算机视觉中的多视几何

计算机视觉的多视几何吴毅红中国科学院自动化研究所模式识别国家重点实验室主要内容•1.单视几何（应用单幅图像测量）•2.两视几何（EpipolarGeometry约束）空间平面与Homography•3.三视几何（TrifocalGeometry约束）1.单视几何成像平面摄像机坐标系ZXYOMm成像平面OiiixΜtRKm],[1.单视测量•目标、内容•研究的意义•国内外研究的现状•算法1.单视测量•从单幅图像中恢复场景的全部或部分三维信息•运用射影几何理论，探索利用单幅图像实现场景测量所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量目标、内容1.单视测量•利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响•基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确•具有非常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面研究的意义1.单视测量•用两幅或多幅图像对场景进行重建以后进行测量的方法以及摄影测量学的方法有很大的局限性•利用单幅图像对场景进行测量，已引起人们的关注•A.CriminisiUniversityofOxford•目前，国内外在此方面还没有系统的研究研究现状1.单视测量空间平面与其图像间的关系可由平面Homography:H来表示(一个的矩阵).一般将空间平面假设为即X-Y平面,则：Tvu1,,~mTMMYX]1,,[M0wZHMHtrrKtrrrKm11],,[10],,,[~21321MMMMMMYXYXYXs算法33成像平面摄像机坐标系ZXYOMmXwYw33H平面测量1.单视测量如果4个空间点已知，则由它们可线性求解H：算法5155mHMsiiisHMm~iM4,3,2,1i6166mHMs然后通过将图像点反投到空间平面，实现空间平面上的测量平面测量距离\面积\夹角1.单视测量已知一个空间平面的homography和此平面法向量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测：算法空间测量体积、身高、两个平面的距离、两个平面内的两个点之间的距离1.单视测量算法S8S10S9R3V2XZYXYZS1S2S3R1S4XZS5S6S7R2V1Y物体体积的测量结果：V1Realvolume:109265.0cm3Measuredvalue:110018.9cm3Relativeerror:0.69%V2Realvolume:26826.7cm3Measuredvalue:26628.2cm3Relativeerror:0.74%2.两视几何•外（对）极几何（Epipolargeometry）•基本矩阵、本质矩阵•重建•景物平面与单应矩阵（Homography）主要内容2.两视几何外极几何外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。基本概念：基线；外极点；外极线；外极平面；基本矩阵；本质矩阵2.两视几何外极几何外极线Mmm'l'ee'lOO'm'TFm=0基线外极点外极平面对极线基本矩阵，33的矩阵2.两视几何•基线：连接两个摄象机光心O（O’）的直线•外极点：基线与像平面的交点•外极平面：过基线的平面•外极线：对极平面与图像平面的交线•基本矩阵F：对应点对之间的约束0'FmmT外极几何2.两视几何外极几何世界坐标系wXwZwYwOov摄像机坐标系v图像坐标系iiixΜtRKm],[00iiixΜtRKm]','['''OcXcZcYR0,t0R’,t’如果将世界坐标系取在第一个摄像机坐标系上，则：iiixΜ0IKm],[iiixΜtRKm],['''R,t基本矩阵F：是一秩为2的3×3矩阵，自由度为72.两视几何外极几何对象的数学表达：iiiixPΜΜ0IKm],[iiiixΜPΜtRKm'],['''Mmm'l'ee'lOO'm'TFm=01'][RKtKFTtKPOPeT1000外极点：tKRtRPPOeT1,'光心：]1000[O]1,['tRO本质矩阵E：是一秩为2的3×3矩阵，自由度为52.两视几何Fml''mFlT0Fe0'FeT外极几何对象的数学表达：iiiixPΜΜ0IKm],[iiiixΜPΜtRKm'],['''Mmm'l'ee'lOO'm'TFm=0外极线：mel'''mel（用法向量表示）对象之间的关系式：RtE][2.两视几何Fml''mFlT0Fe0'FeT外极几何iiiixPΜΜ0IKm],[iiiixΜPΜtRKm'],['''Mmm'l'ee'lOO'm'TFm=0对象之间的关系式：F不是一个一一对应的变换。1'EKKFT0'Fmm如果，m，m’是一对对应点，则：反之，不成立。2.两视几何H是一个射影变换矩阵，投影矩阵对和对应相同的基本矩阵。基本矩阵),('PP),('HPPH1'][RKtKFTiiiixPΜΜ0IKm],[iiiixΜPΜtRKm'],['''iiiixPHΜHΜ0IKm],[iiiixHΜPHΜtRKm'],['''441'][RKtKFT2.两视几何在两幅图像之间，基本矩阵将点m映射为对应的对极线，将对极点映射为0。不能提供对应点间的一一对应。基本矩阵的变换作用Fml''mFlT0Fe0'FeTMmm'l'ee'lOO'm'TFm=0F0F2.两视几何空间中一点在两幅图像上的成像分别为：极点极线基本矩阵的代数推导tKPCPeT1000FmmRKtKtKRXKtKmelT1][][KXXPsmT1tKRXKXPms'1''mm'l'ee'lCC'm'TFm=0MTXM10]['''1FmmmRKtKmlmTTTT因此：2.两视几何基于代数误差的线性估计---8、7点算法基于几何误差的非线性优化基于RANSAC思想的自动估计算法基本矩阵F的估计方法2.两视几何一对对应点，之间满足约束：展开可以得到约束方程为：0'iTiFmm0''''''333231232221131211FFvFuFvFvvFuvFuFvuFuuiiiiiiiiiiiiTiiivu]1,','['mTiiivu]1,,[m基本矩阵F的估计方法333231232221131211,,,,,,FFFFFFFFFF8点算法:2.两视几何当n=8时，可以线性求解f。0fA1''''''1''''''111111111111nnnnnnnnnnnnvuvvvuvuvuuuvuvvvuvuvuuuA对于n对对应的图像点对ii'mmni..1可得到n个这样的方程T],,,,,,,,[333231232221131211FFFFFFFFFf构造向量:构造矩阵:从而:基本矩阵F的估计方法8点算法:2.两视几何•基于代数误差的估计方法是满足某些约束下使最小的算法•8点算法：•步骤：1)由对应点(n=8)集构造矩阵A；2)对A进行奇异值分解，由向量构造矩阵F（3）对F进行SVD分解得到基本矩阵的估计1minf约束条件fAfATUDVA9vfTVsssUdiagF321TVssUdiagF0ˆ21基本矩阵F的估计方法8点算法:2.两视几何•8点算法估计基本矩阵F的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精确时，由8点算法给出的基本矩阵F的解精度很低。•存在一种规一化坐标系，在此坐标系下估计的基本矩阵优于其它坐标系。基本矩阵F的估计方法8点算法:2.两视几何•规一化变换：1)对图像点做位移变换，使得图像的原点位于图像点集的质心；2)对图像点做缩放变换，使得图像点分布在以质心为圆心半径为的圆内。2基本矩阵F的估计方法8点算法:H规一化8点算法：由对应点，求F1)对两幅图像分别做规一化变换,得到新的对应点集；2)有新的对应点集和8点算法估计；3）基本矩阵2.两视几何iimmF~11~HFHFHH,基本矩阵F的估计方法8点算法:2.两视几何•如果求解的基本矩阵F不满足约束，即那么不存在向量e使得Fe=0，则在图像中的对极线不交于同一点(对极点e)。•由于基本矩阵的秩为2，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以确定基本矩阵。0)det(F基本矩阵F的估计方法7点算法:0)det(F2.两视几何•利用SVD分解的方法得到两个对应于系数矩阵A的右零空间的基向量和的矩阵基和，然后利用det(F)=0性质来解出F通解中的比例因子，来确定所要估计的基本矩阵。•由于基本矩阵行列式为零所对应的约束是一个三次方程，因此最后所可能得到的基本矩阵的解的个数对应于上述三次方程实数解的个数，最多可以得到3个解。1f2f1F2F21)1(FFF基本矩阵F的估计方法7点算法:2.两视几何将估计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解.算法如下：（1）构造基于几何意义的目标函数（2）选取8点算法的结果作为迭代算法的初始值（3）选取一种迭代方法（L-M方法），迭代求解最小化问题基本矩阵F的估计方法基于几何误差的优化:2.两视几何常用准则：(1)点到对应极线距离的平方和(2)反投影距离基本矩阵F的估计方法基于几何误差的优化:构造基于几何意义的目标函数2.两视几何mm'l'ee'lOO’niiiiTiFdFd122)),(),((mmmmniiTiTiTiiiiTi12221222212))()()()()()((mFmFFmmFmFmFmm基本矩阵F的估计方法基于几何误差的优化:准则(1)点到对应极线距离的平方和其中和是通过一定的方法进行射影重建所得到空间点的反投影图像点.2.两视几何准则(2)反投影距离niiiiidd122)),(),((mmmmimim基本矩阵F的估计方法基于几何误差的优化:mm'ee'OO’m'm基于准则(2)步骤：1.由线性算法求出基本矩阵的初始值;2.由对应点和基本矩阵射影重建得到三维空间点坐标；3.由三维空间点得到新的图像点：.2.两视几何基本矩阵F的估计方法基于几何误差的优化:FiMiimm'iimmF2.两视几何例：利用RANSAC思想估计直线给定7点，找最匹配的直线，使有效点到直线的距离小于0.8个单位，找到的点集为{1,2,3,4,5,6}，然后用最小二乘法计算直线方程。x01123234578645910yPOINTXY1234567001122323344102理想直线基本矩阵F的估计方法RANSAC估计2.两视几何•前面所讲的所有的方法都假设没有错误匹配点(Outliers)。实际处理过程中可能会出现错误的匹配点。可以用RANSAC方法剔除错误的匹配点•基本思想：1.通过迭代地随机抽取最小点集来找出能够使得所谓Inliers所占比例最高的最小点集2.用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最终的基本矩阵估计值基本矩阵F的估计方法RANSAC估计2.两视几何本质矩阵E(EssentialMatrix)由摄像机的外参数确定，与摄像机内参数无关。本质矩阵EO摄像机坐标系v图像像素坐标系cXcZcY1OocXcZcYuxyRtE][mm’0'EmmT2.两视几何MtRKPXm|本质矩阵EMtRmKx1,ˆtRP0IP,,FKKET'1'][RKtKFT当摄像机内参数K已知时，当F被求出时，重建即要求出R，t。