虚拟现实98

基于图象的建模技术虚拟环境的创建虚拟现实建模：——虚拟环境的建模基于图形学的渲染基于图像的渲染基于图形学的渲染：几何造型光照模型与渲染算法三维观察纹理影射基于图像的建模技术基于图象的建模和绘制VR特性：在虚拟环境中产生身临其境的感受VR对计算机图形学的挑战：高质量的，实时的图像生成高分辨率的显示自然的交互经典的图形学：能在很短的时间里产生具有相当复杂度的真实感图形，但其固有的矛盾使它无法满足高级VR的要求，在一定程度上限制了VR技术的应用和推广；从另外一个角度考虑了这个问题，即能否直接由真实场景的图片来构造虚拟场景呢？摄像机——环境或物体的二维增强表示或三维模型，即基于现场图像的VR景物建模？问题：真实场景图片：点阵结构的像素图像，没有三维几何信息，没有光照信息图片反映真实场景某一个角度的视觉特征，改变观察视角时，无法由单幅图看到其它角度的场景从图像中获取场景的三维几何信息——计算机视觉，未完全解决基于图像渲染的想法尽管直接，但一直没有引起大家的深入研究。1993年，Apple公司推出QuickTimeVR系统基于柱面全景图像的虚拟现实系统支持用户在虚拟环境中左看、右看、上看、下看、3600环视、沿固定路线前进与后退等漫游用户观察到的视觉效果完全具有照片质量第一次向人们展示基于图像的方法也可以构造出一个十分优秀的虚拟现实系统QuickTimeVR是不是VR系统？不支持自由前进和后退，没有头盔显示器和数据手套；当时很多计算机图形研究人员并不完全承认它是一个虚拟现实系统，认为它相当于图形学中的纹理影射技术。但没多久，学术界便确认了基于图像渲染的学术地位，并于20世纪90年代兴起了新的研究浪潮——基于图象的建模与绘制技术IBMRIBMR（Imaged-BasedModelingandRendering）基于图象的建模与绘制技术图形学：如何由几何模型绘制图象计算机视觉：如何从场景图象中重建场景几何IBMR：试图从图象—几何—图象链中完全或尽可能多的消除几何部分，使绘制更接近真实自然IBMR、计算机图形学、计算机视觉计算机视觉计算机图形学IBMR图象几何图象：方法：状态图形、图象建模比较图形：建模复杂，占用大量的人力和物力绘制速度：实时和复杂，真实感的矛盾图象：用相片代替几何输入进行建模和图象合成（1）利用从相片中抽取的三维信息，重构传统的几何模型（2）将照片作为系统的输入，使用二维的、基于图象的视图重构方法图形学中应用图象的例子：纹理映射技术基于图象的建模：用预先获得的一组图象表示场景的形状和外观；新图象的合成通过适当地组合原图象实现；IBMR的优点：建模容易：拍摄照片绘制快：视图—视图真实感强什么是基于图像的建模与绘制？基于图象的造型与绘制（IBMR）例：基于图象的造型（IBM）应用图象得到•场景的外观•场景的几何信息•光照•反射特性•运动特性很容易构造真实感场景基于图象的绘制已有图象可以用来构造新视点的图象不必进行所有光照计算可以快速的进行绘制IBMR技术包括两类不同的方法基于计算机视觉的技术基于图象的绘制（IBR）技术基于计算机视觉利用计算机视觉的方法重建场景的3D模型，并利用图象中的纹理细节进行绘制。基于计算机视觉（Cont）重建三维模型空间位置？基于计算机视觉（Cont）点重建基于图像的渲染（IBR）？纹理映射？图像用作某一场景的近似纹理映射：定义纹理空间坐标与三维模型中对应位置之间的映射函数，这种映射的说明既困难又耗时，经常需要人工干预；纹理映射的另一个局限：它依赖于基础的三维几何模型，而三维几何模型的构建相当费时费力。大部分虚拟环境的三维模型是聘请专业人士手工绘制的，如影片《泰塔尼克号》中“泰塔尼克”号巨轮便是好莱坞花巨资（约2500万美元）精心绘制而成的；构建三维几何模型的困难与定义纹理坐标映射点组合在一起时，问题变得更复杂了。——基于图像渲染（Image-BasedRendering，简称IBR）IBR技术－目标IBR的目标从已有图象得到新视点的图象原因：图象容易得到IBR：以抽样的离散图形组成基础数据，处理与组织这些图像数据得到环境的连续描述。如虚拟友谊广场：一组离散图像：选择有限个视点，若干个方向IBR技术处理和组织这些图像，构造出一个虚拟友谊广场；支持用户在其中任意角度、任意方向自由漫游图像是基础，图像被认为是二维空间上的一种测量。在图像处理中，其几何联系是图像空间上的二维相邻。基于图像渲染：考虑全局的三维几何相邻。获取像素之间的三维几何联系，重构虚拟环境的连续描述。由IBR的定义可知，IBR的输入是离散的图像集，输出是一个连续变化的函数。虚拟环境的连续描述可以总结为全光函数。IBR技术－核心把图象看作光线的集合…而不是象素的集合IBR技术－全光函数给我们足够多的采样光线，是不是可以插值得到附近的光线？全光函数：全光函数：从空间中任意点在任何时候所看到的任意波长的光线的集合。全光函数描述一个观察者在一个特定空间中所接收到的所有辐射能量，而不是一个光照源或一个视点。全光函数P7=P(Vx,Vy,Vz,θ,φ,λ,t)是一个七维函数；从理论上讲，只需采样环境并重建出全光函数，IBR就变得非常容易。但实际上，重建七维的全光函数很难实现，几乎是不可能的。McMillan和Bishop忽略λ和t，提出全光建模系统，从一组离散采样点产生连续五维全光函数五维函数P5=P(Vx,Vy,Vz,θ,φ)然而五维函数仍然难以重构，Levoy等和Gortler等分别提出了光场函数和光图函数，在一定的条件下，把五维的全光函数降为四维。四维光图函数的定义：McMillan和Bishop将全光函数简化为一个用五个变量描绘位置和方向的函数，如果假设空气是透明的，则光线通过空间的光亮度是恒定的；再假设，只考虑远离一个有界物体凸起表面的那个光源，只需描绘这个物体表面的全光函数值。光场(Lightfields)技术把全光函数缩小到了4维表达，但数据量仍然十分庞大而且不容易采集。同心拼图技术解决了这些问题，将光图函数降到了3维的形式，从而提供了很好的应用可能。什么是同心拼图？同心拼图（concentricmosaics）：由位于同心圆上的照相机拍摄的一系列细长的图片（slitimages）拼接而成的。由一架照相机在不同视点（viewpoint）拍摄的照片组合成的，而这些视点是连续分布的。同心拼图的采样系统由数架固定在水平旋转杆上的相机构成，每架相机沿着各自的圆周做连续运动。ＩＢＲ技术将以其旺盛的生命力进入人类生活空间的方方面面……雄伟的万里长城秀丽的桂林山水巍峨的华山泰山历史博物馆科技馆英雄纪念碑ＩＢＲ在网络中的应用：网上虚拟购房，远在上海的客户只要登录北京的售楼公司网址，则大到所售楼房的外观，小到每个房间的灯具、地毯质地等场景便一览无余，而客户所要做的只是双击鼠标。虚拟全景空间——基于图像渲染的虚拟现实系统90年代，QuickTimeVR与IPIXViewer等一批新型系统的推出，向人们展示了一个个方便制作、高质量的虚拟全景空间生成平台；而Internet的普及又为虚拟全景空间的推广与应用构筑了一个很好的舞台；全景图像实际上描述的是一个二维的全光函数，即在全光函数P7=P(Vx,Vy,Vz,θ,φ,λ,t)中，全景图像描述了固定视点（Vx,Vy,Vz）、时间t与波长范围λ的情况下，变化观察视角（θ,φ）得到的任意观察方向上所看到虚拟场景集；以全景图像技术为基础构建出的虚拟全景空间是当今最成熟、最实用的一个基于图像渲染的虚拟现实系统；虚拟全景空间？基本定义：视点空间（1）视点：指用户在某一时刻在场景中的观察点，观察时所用的焦距固定。（2）视点空间：在某一视点处，用户所观察到的场景。视点空间定义限定了视点的位置，对观察方向未作任何限定，即视点空间包含任意观察方向上用户所看到的全局场景。虚拟全景空间：单个视点空间反映的是一个三维点空间，而一个虚拟现实系统往往需要建立一个N维的虚拟空间；点空间:用户只能靠改变视角来观察不同的场景；N维的虚拟空间：用户可通过改变空间位置观察不同的场景；N维虚拟空间能反映虚拟空间在时间上的变化，风景名胜岁季节的变化，白天黑夜的变化等N维虚拟空间中视点的变化可以不局限于物理时空，如在教学楼中安排一间美国总统办公室等这样的N维虚拟空间称为虚拟全景空间（VirtualPanoramicSpace）VPS由众多视点组成，视点空间是VPS的基本组成单元；空间操纵：用户通过一定手段可以在虚拟空间中漫游；视点空间内操纵：操纵视角，360。全视野视点空间间操纵：位置变化、时间变化、超现实场景变化VPS的组成：全景图像生成器空间编辑器：把不相干的全景图像组织成用户可以任意漫游的虚拟全景空间VPS浏览器：提供给用户漫游功能全景图像：能反映全局场景的图像（PanaromicImage）局部图像：反映用户在某一视角看到的场景全景图像的定义全景图像的制作全景图像的特点全景图像的应用全景图像的定义：三维全景虚拟全景实景虚拟现实全景图360。全景全景摄影定义（1）全景是把相机环360度拍摄的一组或多组照片拼接成一个全景图像，通过计算机技术实现全方位互动式观看的真实场景还原展示方式。在播放插件（通常Java或Quicktime、activex、flash）的支持下,使用鼠标控制环视的方向，可左可右可近可远。使用户感到就处在现场环境当中，产生身临其境的逼真视觉效果。定义（2）全景摄影是把相机环360度拍摄的一组照片拼接成一个全景图像，用一个专用的播放软件在互联网上显示，并使您能用鼠标控制环视的方向，可左可右可近可远。使您感到就在环境当中，您好像在一个窗口中浏览外面的大好风光。定义（3）全景，是对场景的超大视角乃至360度完整场景范围进行展示的照片。通过对专业相机捕捉整个场景的图像信息用软件进行合成，用专门的播放器进行播放，把二维的平面图模拟成真实的三维空间，呈现给观赏者。给观赏者提供各种操纵图像的功能，放大缩小，各个方向移动观看场景，达到模拟和再现场景的真实环境的效果。全景图像：球面全景图像多面体全景图像柱面全景图像视点空间：球体、多面体与圆柱体柱形全景：把拍摄的照片投影到以视点为中心的有限高度的圆柱上，从而水平360度观看四周的景色，但用鼠标向上下拖动时，上下的视野将受到限制，看不到天顶，也看不到地底。即垂直视角小于180度。球形全景：把拍摄的照片投影到以视点为中心的圆球上从而能水平360度，垂直180度，即全视角360X180观看全景照片。可以说用户已经融入了虚拟环境之中了。球形全景照片的制作：首先必须全视角拍摄，即要把上下前后左右全部拍下来，普通相机要拍摄很多张照片。然后再用专用的软件把它们拼接起来，做成球面展开的全景图像最后选用播放软件，把全景照片嵌入网页。立方体全景(cubicPanorama)：这种全景照片是由前，后，左，右，上，下6张照片无缝拼接而成。相机位于立方体的中心，也是全视角,实际效果与球形全景类似。全景图像的制作：怎样生成三维全景呢？——硬件和软件拍摄：需要相机和鱼眼镜头、云台、三角架等硬件来拍摄出鱼眼照片照片的数字化和全景照片的合成：使用全景拼合发布软件把拍摄的鱼眼照片拼合选用播放软件并把它嵌入网页，发布成可以播放和浏览的格式。常见的全景制作硬件：一次成像：Oneshot环拍设备：Roundshot，Panoscan组合设备：数码相机+鱼眼镜头+全景云台常见的全景制作软件：著名软件企业：3Divsta、Ipix、Iseemedia、Ulead、上海杰图等。常见合成软件：Panotool、Photovista、Ipix、Uleadcool360、造景师等常见播放工具：Ptviewer，Iseemedia的Realt