第7章基于图像的VR技术84

基于图像的VR技术VR的两种研究方法简介VR的两种研究方法：方法一：基于几何的绘制•该方法有时也被称为基于模型的方法•传统上，一个虚拟环境是由各类3D几何体合成的。在虚拟环境中漫游是通过实时绘制2D几何体实现的。–首先对场景建立三维几何模型，对场景中各个物体的材料、光照、纹理、消隐等因素进行描述；–然后根据观察者位置和观察角度生成场景中各个物体的图象，用图形学方法进行绘制；–最后用光线跟踪或纹理映射的方法增加真实感，同时对物体进行着色、上光、粘贴材质、判断遮挡、填充空洞等处理。•基于几何绘制的方法此方法有3个主要问题：•第一，几何体的建模是一个非常繁琐的问题。•其次，由于漫游需要实时显示，因此限制了场景的复杂性和绘制的质量。•最后，加速绘制所需要的专门硬件极其昂贵，因此限制了虚拟现实的发展。基于几何的绘制方法的工作流程基于图像绘制技术VR的两种研究方法：方法二：基于图像的建模和绘制(ImageBasedModelingandRendering，简称IBMR，简写为IBR)•从已知的图像中合成新视图来构成虚拟环境，IBMR方法有以下优点：•建模容易：把不同视线方向、不同位置拍摄的照片数据按某种形式组织起来表示场景，如全景图像和光场，这就是IBMR意义下的所谓建模。•绘制快：不需要复杂的计算，直接从已有的视图中合成新的视图，整个绘制过程都在二维空间进行，绘制时间不依赖于场景的复杂度，只跟显示分辨率有关。••真实感强：基于图像的方法能真实地反映景物的形状和丰富的明暗、材料及纹理细节，不需要经过额外的光照模拟。•交互性好：由于有绘制速度和真实感的保证，再加之先进的交互设备和反馈技术，使得基于图像的VR有更好的交互性。当然，IBR方法也并非没有不足，目前还有如下缺点：1)表示模式。即数据的组织问题。需要找到一种简便有效且适合于计算机表示的模式，使之能精确完整地表示整个场景;2)获取方法。用手持相机或者用被精确定位与控制的数控摄像机、图象采样的数量多少、采样模式及样本均匀性等都会影响问题的难度和精度。3)失真问题失真是由于连续图象信号的离散化、采样设备的精度和质量、设备噪等多种因素而产生的。同时，工BR方法不可避免地要对场景图象进行多重采样，这样又会产生采样积累误差。4)可见性判断。景物间的相互遮挡会使新合成的视图中出现空洞和重叠。5)信息压缩。IBR方法的计算量不大，但数据量很大，合理有效的压缩及解压缩机制是一个亚待解决的问题。6)完全漫游。如何实现基于图象的完全实时漫游是基于IBR方法的虚拟现实系统能否走向实用的又一个关键问题。基于图像的建模和绘制技术–基于立体视觉的方法–基于视图插值的方法–基于图像拼合和分层的方法–基于全视函数的方法•基于立体视觉的方法–基于立体视觉的视图合成方法主要利用立体视觉技术从已知的参考图像中合成相对于新视点的理想图像–关键问题是找出每对已知图像之间的对应映射，即解决立体匹配问题–通过对应关系建立了一个基于图像的场景表示–将场景视图及其对应关系组成一个图结构，图中灰色摄像机代表不同物理位置的参考图像，黑色摄像机代表合成视图，双向边表示邻接视图间的立体对应关系，单向边表示对参考图像所做的变换。立体对应图象变换基于图像的建模和绘制技术1基于立体视觉的方法•基于立体视觉的图像合成方法主要有以下优点：–新视图可以由两幅邻近的参考图像及它们的对应关系合成，整体的几何模型不是必需的；–图像变换比传统的图像绘制快得多，而且计算时间独立于场景复杂度；–只需知道邻接摄像机之间的相对轮廓信息，而不需要对摄像机进行精确的定标。•基于立体视觉的图像合成方法也存在着立体视觉中固有的缺陷：–由于场景有可能部分和全部地被遮挡，只能掌握场景有限的信息，导致在参考图中不可见而在新图中应该可见的区域出现空洞，如何填补这些空洞是一个难以解决的问题；–由于只产生有限的深度分辨率(深度不连续)，使得匹配处理出现误差。•视图插值方法可以对二维的图像按照形状插值来模拟和近似三维的图形变换。给定两幅不同视点参数的图像，用这种方法可以求出中间视点的图像，从而达到视点变化的效果。–视图插值就是利用图像变形的方法产生视点沿着一定路径变化时的中间图像基于图像的建模和绘制技术2基于视图插值的方法•将同一场景的多张有重叠的图像组合成一幅较大图像的处理叫做拼合(mosaic)。–图像拼合技术典型地被用于全景图的生成、改善图像分辨率、图像压缩及视频扩展等方面–图像整合(imageregistration),即是把参考图像中相互重叠的部分对齐所做的变换。基于图像的建模和绘制技术3图像拼合和分层的方法•全视函数(PlenOpticFunction)是由Adelson和Bergen命名的•全视函数描述了观察点(而非物体或光源)接收到的所有可见光辐射的能量。用计算机图形学术语，它描述了给定场景中所有可能的环境映照集合•全视函数定义在一个七维的参数空间上•代表空间中视点的位置，视域方向和范围用仰角•方位角定义，λ代表人眼感受到的波长,t代表时间基于图像的建模和绘制技术4基于全视函数的方法),,,,,,(tVVVPlenopticzyx),,(zyxVVV全视函数的参数化摄像机：模型及定标•摄像机模型–针孔成像模型（几何）–几种参考坐标系–成像过程（代数）•摄像机定标–线性模型摄像机定标–非线性模型摄像机定标–立体视觉摄像机定标一、Camera模型：针孔成像模型•图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成像几何模型所决定；•该几何模型的参数称为摄像机参数，必须由实验与计算来确定，实验与计算过程称为摄像机定标；•摄像机模型是光学成像几何关系的简化。最简单的模型为线性模型，亦称为针孔模型(pin-holemodel)摄像机针孔模型示意图Camera模型：四种参考坐标系Image坐标系camera坐标系world坐标系uvxy1O00(,)uv0OcXcYOxy1O(,,)cccPXYZcZpwYwXwZ（物理/计算机）Camera模型：代数模型•成像过程cPwP旋转、平移（欧氏变换）–(1)从world坐标到Camera坐标11111cwwcwwTcwwXXXYYYZZZRtM0齐次坐标概念：(,,)(,,,)xyzkxkykzkCamera模型：代数模型–(2)经透视投影将Camera坐标投影到实际图像平面ccfXxZccfYyZ透视投影（中心射影）：000000100101ccccXxfYZyfZCamera模型：代数模型–(3)将实际图像坐标转换成计算机图像坐标(缩放变换)Image坐标系uvxy1O00(,)uv0O0xuudx0yvvdy10100011001dxdyuuxvvy000010011xdxudxuydyvdyv代数表达：(,)uv为计算机图像坐标（象素单位）(,)xy为实际图像坐标（物理单位）Camera模型：代数模型–完整过程11wwwXuYvZMM摄像机定标：求解二、Camera定标•目标•基本原理–定标参照物•线性模型•非线性模型•立体视觉–自定标(project)•实例–机器人手眼定标–主动视觉的头眼定标Camera定标：线性模型情形•Camera的完整代数模型：101000120000000011001000110000100101wdxwcdyTwwxwywwTwXuufYZvvfZXauYavZRt0RtMMXMX0其中：/,/;xyfdxfdyM:为3X4矩阵，称为投影矩阵;1M:由（只与摄像机内部结构有关）决定，称为摄像机内部参数;2M:由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数;Camera定标：确定某摄像机的12MM、101002010000000011001000110000100101wdxwcdyTwwxwywwTwXuufYZvvfZXuYvZRt0RtXMMMX000,,,xyuv11121314212223243132333411wiiwiciiwiXummmmYZvmmmmZmmmm111213142122232431323334ciiwiwiwiciiwiwiwiciwiwiwiZumXmYmZmZvmXmYmZmZmXmYmZm11121314313233342122232431323334wiwiwiiwiiwiiwiiwiwiwiiwiiwiiwiiXmYmZmmuXmuYmuZmumXmYmZmmvXmvYmvZmvm条件：借助定标参照物（已知n个点）•摄像机定标算法（线性模型情形）111213111111111141111111112122231112411131323310000000011000000001wwwwwwwwwwwwwnwnwnwnwnwnwnwnwnwnwnwnmmmXYZuXuYuZmXYZvXvYvZmmmXYZuXuYuZmXYZvXvYvZmmm1341343434nnumvmumvm34(1)mKmU1()TTmKKKU最小二乘法111402342240330000100101TTxxTTyyTTzTtmutmmvtrmrmrm01141030342242030331TTTxxxzTTTyyyzTTzmututmmvtvttmrrmrrmr3431mm3343mrm343331mmrr2010333413()TTTxuumrrrmm2020333423()TTTyvvmrrrmm23413xmmm23423ymmm341103()xmurmm34ztm342203()ymvrmm34140()xxmtmu34240()yymtmvCamera定标：非线性模型情形(,)(,)xyxxxyyyxy22222211212222222212(,)()((3)2)()(,)()((3)2)()xyxykxxypxypxysxyxykyxypxypxysxy2122(1)(1)xxkryykr222rxy径向畸变离心畸变薄棱镜畸变如广角镜头系统Camera定标：立体视觉情形2X2Y1O(,,)cccPXYZ2Z1p1X1Y1Z2O2p极线概念Camera定标：立体视觉情形111222cwcwxRxtxRxt消去wx1111221122ccxRRxtRRtRt111111222212()()cppcppZZuMxMmxuMxMmx1111122212ccZZuMxmuMxm消去x112212