虚拟现实技术论文

南京师范大学报告之虚拟现实技术期末论文作者:学校名称:南京师范大学学号:18103617专业:测绘工程年级:大四指导教师:江南日期:2013年12月【摘要】：本文介绍了虚拟现实技术的特点和研究现状，对虚拟现实技术的建模技术进行了描述，论述了虚拟现实技术在科学、军事等领域的应用以及国内外的最新研究进展，并对未来发展方向进行了展望。【关键词】：虚拟现实技术；三维建模技术；实时绘制技术一、虚拟现实技术1.1定义虚拟现实（简称VR），又称灵境技术或者赛伯空间，是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。他综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到真实世界中无法亲身经历的体验。虚拟现实是从两个英语单词“VirtualReality”翻译而来的，其中“Virtual”的含义是虚拟的，非真实的，即现场或环境是由计算机模拟生成的非真实的，只存在于计算机内部的世界。“Reality”的意思是现实、实际，真实的事物，即真实的世界或现实的环境。因此，“VirtualReality”一词应译为虚拟现实。故虚拟现实的含义就是利用计算机技术通过各种技术手段在计算机内部构建一个让人如临其境的虚拟世界。这种用来构建虚拟世界的技术就称为虚拟现实技术。1.2特点人们现在较为熟悉的是3D技术，已被广泛的应用于电影技术中。人们可以看到一个三维的世界，看起来更加真实，观众仿佛已融进了电影情节中，具有较强的视觉冲击感。相较于3D技术，虚拟现实技术则能给我们一个更加完善的虚拟环境，它不光看起来像真的，听起来像真的，还可以摸起来、闻起来、尝起来都像真的。即人的视、听、触、嗅、味各种感觉在这个虚拟环境中就完全如在真实的世界，人们可以完全如在真实的世界中一样与虚拟世界进行交互。虚拟现实技术具有以下几个基本特征:①交互性（Interactivity）:指用户对虚拟现实环境内物体的操作程度以及在虚拟环境中得到反馈信息的实时性及自然程度;②沉浸感（Immersion）也可称为临场感:指用访问者到作为主角存在于模拟环境中的真实感的程度;③构想性（Imagination）也称想像性:指用户沉浸在设计者构想的多维信息空间中，通过自己的感知和认知能力获取虚拟环境中的知识，发挥主观能动性，发现新问题，形成新的思想。二、主要技术2.1三维建模技术由于虚拟现实技术的基础就是三维模型的建立，不仅对于模型的外观的逼真性要求较高，而且在虚拟现实系统中，由于部分物体好要求具有复杂的行为，以及良好的实时性和交换能力。故虚拟现实系统的建模技术与其他图形的建模技术相比具有如下的特点：（1）虚拟场景中的模型数量和类型都是大量的；（2）其他图形建模系统中只需构建静态或者是简单运动的物体，但在虚拟场景中却需对物体建立自己独特的行为，且符合物理规律。（3）为了满足其较好的操作性和良好的实时性及交换性，故物体必须在某种适当的方式来做出相应的反应。所以建模技术可分为三类：几何建模、物理建模、行为建模。2.1.1几何建模几何建模技术按照结构可分为层次建模法和属主建模法。层次建模法是利用树形结构来表示物体的各个组成部分，当物体发生移动时，只需对某节点及其相对父节点的位置和方向的变化进行描述即可。属主建模法就是让同一类的对象具有相同的属主，属主里面含有了同类对象的详细结构。当需要制作这一类事物时，只需建立一个指向该物主的指针即可。这样不但简单高效，还可以便于修改及一致性也较好。2.1.2物理建模当几何建模完成后，我们就要为其构建动力学体系，描述其预期的运动方式。典型的物理建模方法有分形技术和粒子系统。分形技术的优点是操作简单，易于构建复杂且不规则的物理模型。但是需要大规模的物理计算，造成实时性交差。所以，在虚拟系统中一般只用了构建静态远景模型。在粒子系统中，建模时将物体以最小单位——体素来划分，为每一个体素建立独有的位置、速度、颜色和生命周期等等属性。通过动力学计算和随机过程即可得到运动且逼真的画面。故虚拟系统中用粒子系统构建运动的物理模型。2.1.3行为建模在几何建模和物理建模的基础上，若想让虚拟环境更加逼真，就需要加入行为建模，行为建模用于处理物体的运动和行为。分为运动学法和动力学仿真法两种方法。动力学法是通过线性插值、三次样条插值等方法内插帧，来达到物体的平移和旋转等动作。并不知道物体的物理属性，仿真效果不是很理想。动力学仿真属于物理仿真的一部分，利用物理学定律来描述物体的运动。使得运动的描述更加精确和自然，且物体间的交互和实时性更好。2.2真实感实时绘制技术在虚拟现实系统中，如想做到更加逼真，只靠三维立体感是远远不够的。还要求有较强的真实感和实时性。2.2.1真实绘制技术虚拟现实系统中，对真实绘制技术的要求与传统的真实感图形绘制不同，传统的绘制只要求图形质量和真实感，但是，在VR中，我们必须做到图形显示的更新速度不小于用户的视觉转变速度，否则就会出现画面的迟滞现象。故在VR中，实时三维绘制要求图形实时生成，每秒钟必须生成不低于10到20帧图像。同时还要求其真实性，必须反映模拟物体的物理属性。通常为了使得画面场景更加逼真和实时性强，通常采用纹理映射、环境映射和反走样的方法。2.2.2基于几何模型的实时绘制技术为了使得画面不出现迟滞现象，就要求计算机具有很好的性能，保证每秒钟的帧数不低于30帧。虚拟场景的制图基础是几何，即在数学上的曲线、曲面等数学模型，必须先设定好几何模型的轮廓，同时采用模拟虚拟摄像机在六个自由度运动，输出画面。当虚拟场景较复杂时，数据量就会巨大，若产生的延时过长，不但用户的沉浸感会降低，甚至使人产生头晕、乏力等“运动病”。所以，除了提供计算机的硬件设备外，我们也要减低场景的复杂度。用以提高虚拟三维场景的显示速度的方法有：预测计算、脱机计算、剪切、可见消隐、细节层次模型等。2.2.3基于图像的实时绘制技术基于图形绘制（ImageBasedRendering，IBR）不同于传统的几何绘制方法，先建模型，在定光源的绘制。IBR直接从一系列图形中生成未知角度的图像，画面直接进行变换、插值和变形，从而得到不同视觉角度的场景画面。其特点如下：第一，IBR的方法降低了计算量，减低了对计算机硬件的要求，食用于个人计算机用户使用。第二，图片的来源可以使数码相机中的真实环境中的相片，也可由电脑生成，或者二者相结合，产生更加逼真的场景。第三，IBR的画面显示开销与画面的复杂度无关，只于画面的分辨率有关，所以可以显示较复杂的画面。2.3三维虚拟声音技术日常生活中我们所听到的立体声是来自于左右声道，声音效果可以很明显的是我们感到来自我们面前的平面，而非像有人在我们背后喊我们时，声音来自于声源，且能准确判断出其方位。显然现在的立体声是不能做到的。而三维虚拟声音就是要做到听其音辨其位，即在虚拟场景中用户可以听声辩位，完全符合现实环境中的听力系统的要求，这样的声音系统就称之为三维虚拟声音。2.3.1三维声音的特点在虚拟现实系统的声音系统中，我们要致力于为用户营造强烈的存在感和真实性。故在虚拟三维声音系统中的核心技术就是三维虚拟声音定位技术。其特点为：全面三维定位特性（3Dsteering）、三维实时跟踪特性（3DLocalization）、沉浸感与交互性。全面三维定位特性（3Dsteering）可以实现将声音信号定位到特定虚拟生源，用户可以通过它精确判断出声源的位置，并符合真实世界中的听觉方式。三维实时跟踪特性（3DLocalization）可以使声音效果与变化的视觉相一致，即用户的位置和声源发生相对位置的变化时，其声源位置也随之改变，产生视听觉得叠加和同步效果。故三维实时跟踪特性（3DLocalization）就是用来完成三维虚拟环境中实施跟踪虚拟声源位置变化或虚拟影像变化的能力的。沉浸感与交互性是指当用户在虚拟环境中时，加入三维虚拟声音后，可以为用户营造身临其境的感觉，并且随着用户的运动可以产生现场反映和实时响应的能力。2.3.2语音识别技术（AutomaticSpeechRecognition,ASR）语音识别技术（AutomaticSpeechRecognition,ASR）是将语言信号转变为可被计算机识别的文字信息，使得计算机可以识别说话人的语言指令和文字内容的技术。要想达到语音的完全识别是非常困难的，必须经过参数提取、参考模式建立、模式识别等若干个过程。随着研究人员的不断研究，使用了傅里叶转换、到频谱参数等方法，语音识别度也越来越高。2.3.3语音合成技术（TexttoSpeech,TTS）语音合成技术（TexttoSpeech,TTS），是指人工合成语音的技术。达到计算机输出地语音可以准确、清晰、自然的表达意思。一般方法有两种：一是录音/重放，二是文-语转换。在虚拟现实系统中，语音合成技术的运用可以提高系统的沉浸感，同时弥补视觉信息的不足。2.3.4人机自然交互技术在虚拟现实系统中，我们致力于使得用户可以通过眼睛、手势、耳朵、语言、鼻子和皮肤等等感觉器官来和计算机系统中产生的虚拟环境进行交互，这种虚拟环境下的交换技术就称之为人机自然交互技术。目前，人机交互技术主要体现在以下三个方面：第一：手势识别技术，通过数据手套(Dataglove)来实现。数据手套(Dataglove)是虚拟现实系统中最常用的人机交互设备，可精确测量出手的位置和形状，由此实现环境中的虚拟手对虚拟物体的操纵。数据手套通过手指上的弯曲、扭曲传感器和手掌上的弯度、弧度传感器，确定手及关节的位置和方向。第二：面部表情识别技术，该项技术目前的研究与人们的期望效果还相差较远，但是去研究成果去展现了其魅力所在。这项技术一般分为三个步骤，首先是面部表情的跟踪，利用摄像机记录下用户的表情，再通过图像分析和识别技术达到表情的识别。其次是对面部表情的编码，研究人员利用面部动作编码系统（FACS）对人的面部表情进行解剖，并对其面部活动进行分类和编码。最后是面部表情的识别，通过FACS系统可以构成表情识别的系统流程图，如下：第三：眼动跟踪技术眼动跟踪技术（EyeMovement-basedInteraction）也称之为实现跟踪技术。它可以补充头部跟踪技术的不足之处，这样即简单有直接。现有的是先跟踪技术及特点如下：2.5实时碰撞检测技术在日常生活中人们已经建立了一定的物理习惯，如固体之间不能彼此穿透，物体高空坠落做自由落体运动，抛出去的物体做平抛运动等等，同时还要受到重力和空气流速的影响等等。为了在虚拟现实系统中完全的模拟现实环境，且防止发生穿透现象，就必须引入实时碰撞检测技术。Moore提出了两个碰撞检测算法，其一处理三角剖分的物体表面，另一个处理多面体环境的碰撞检测。为了防止穿透有三个主要部分。首先，必须检测碰撞。其次，为响应碰撞应调节物体速度。最后，如果碰撞，响应不引起物体立刻分开，必须计算和施加接触力，直到分开。2.6三维全景技术三维全景技术（Panorama）为现在最为流行的视觉技术，它以图像绘制技术为基础生成具有真实感图像的虚拟现实技术。全景图的生成，首先是通过照相机平移或旋转得到的一序列图像样本；再利用图像拼接技术生成具有强烈动感和透视效果的全景图像；最后在利用图像融合技术使得全景图给用户带来全新的现实感和交互感。该项技术利用对全景图深度信息的提取来恢复实时场景的三维信息建立模型。方法简单，设计周期缩短，使得费用大大降低，且效果更加，故目前较为流行。南师大三维全景三、国内外虚拟现实技术研究进展3.1美国美国作为VR技术的发源地，其研究水平基本上就代表国际VR发展的水平。目前美国在该领域的基础研究主要集中在感知、用户界面、后台软件和硬件四个方面。美国宇航局(NASA)的Ames实验室研究主要