虚拟现实技术基础与应用

第一章虚拟现实技术概论1.1虚拟现实技术概述1.1.1虚拟现实技术的定义关于虚拟现实技术的定义，目前尚无统一的标准，有多种不同的定义，主要分为有狭义和广义两种：所谓狭义的定义，认为虚拟现实技术就是一种先进的人机交互方式。所谓广义的定义，即为对虚拟想象（三维可视化的）或真实的、多感官的三维虚拟世界的模拟。1、人机接口形式的改进在虚拟现实系统中，用户可以利用自己的视觉、听觉、力觉、嗅觉等来感知环境2、人机交互内容的改进虚拟现实系统中，由计算机提供的不仅是“数据、信息”，而且还包括多种媒体信息的“环境”，以环境作为计算机处理的对象和人机交互的内容3、人机接口效果的改进在虚拟现实系统中，用户通过基于自然的特殊设备进行交互，得到逼真的视觉、听觉、触觉、嗅觉等感知效果，使人产生身临其境的感觉1.1.2虚拟现实技术的发展历程1.虚拟现实技术的探索阶段2.虚拟现实技术系统化阶段3.虚拟现实技术高速发展的阶段1.1.3虚拟现实系统的组成1、计算机在虚拟现实系统中，计算机是系统的心脏，被称之为虚拟世界的发动机。2、输入与输出设备常用的设备有用于手势输入的数据手套、用于语音交互的三维声音系统、用于立体视觉输出的头盔式显示器等。3、虚拟现实系统的应用软件在虚拟现实系统中，应用软件完成的功能有：虚拟世界中物体的几何模型、物理模型、运动模型的建立；三维虚拟立体声的生成；模型管理技术及实时显示技术、虚拟世界数据库的建立与管理等。4、数据库虚拟世界数据库主要存放的是整个虚拟世界中所有物体的各方面信息。1.1.4虚拟现实技术与其他技术1．计算机图形学计算机图形学（ComputerGraphics：CG）是利用计算机研究图形的表示、生成、处理、显示的学科。它研究的基本内容是如何在计算机中表示图形，以及如何利用计算机进行图形的生成、处理和显示的相关原理与算法。2．多媒体技术所谓媒体（Media），通常认为包括着两种含义。一种是指信息的物理载体（即存储和传递信息的实体），如纸质的书、照片、磁盘、光盘、磁带以及相关的播放设备等；另一种含义是指信息的表现形式（或称传播形式），如文本、声音、图像、动画等媒体分成5类：（1）感觉媒体（2）表示媒体（3）表现媒体（4）存储媒体（5）传输媒体3．系统仿真技术系统仿真技术是一种实验技术，它为一些复杂系统创造了一种计算机实验环境，使系统的未来性能测试和长期动态特性能在相对极短的时间内在计算机上得到实现4．虚拟现实技术与计算机图形学、多媒体技术、仿真技术（1）虚拟现实技术与计算机图形学计算机图形学的任务是在计算机上生成看起来是真的，动起来像真的图像，而用户通过显示器(犹如一个窗户)观看计算机生成的图像所构造的景象。（2）虚拟现实技术与多媒体技术（3）虚拟现实技术与系统仿真技术虚拟现实系统侧重于表现形式，而系统仿真则侧重于真实复杂世界的科学抽象。5.虚拟现实技术与三维动画技术传统三维动画是依靠计算机预先处理好的含有某些场景或物体等的静态图片连续播放形成，不具有任何交互性；而虚拟现实技术可以根据用户的需要把整个空间中所有的信息真实地提供给用户，用户可根据自己的路线行走1.1.5虚拟现实技术的实现意义与影响1．在观念上，从“以计算机为主体”变成“以人为主体”2．在哲学上使人进一步认识“虚”和“实”之间的辩证关系3．引起了一系列的技术和手段的重大变革4．促进了理论与技术的进步5．促进了计算机学科的发展与交叉6．为人类认识世界提供了全新的方法与手段，对人类的生活产生了重大的影响1.2虚拟现实技术的特性1.2.1沉浸性(Immersion)1、视觉沉浸视觉通道给人的视觉系统提供图形显示。2、听觉沉浸虚拟现实系统中，主要让用户感觉到的是三维虚拟声音3、触觉沉浸在虚拟现实系统中，可以借助于各种特殊的交互设备，使用户能体验抓、握等操作的感觉。4、嗅觉沉浸只要把虚拟空间中的水果放到鼻尖上一闻，装置就会在鼻尖处释放出水果的香味。5、身体感觉沉浸、味觉沉浸等1.2.2交互性(Interactivity)虚拟现实技术的交互性具有以下特点：①虚拟环境中人的参与与反馈②人机交互的有效性③人机交互的实时性1.2.3想象性(Imagination)想象性指虚拟的环境是人想象出来的，同时这种想象体现出设计者相应的思想，因而可以用来实现一定的目标。1.3虚拟现实系统分类1.3.1沉浸式ＶＲ系统（ImmersiveVR）沉浸式虚拟现实系统是一种高级的、较理想的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种仿佛置身于真实世界之中的感觉。沉浸式虚拟现实系统具有以下五个特点：①具有高度实时性能。②具有高度的沉浸感。③具有良好的系统集成度与整合性能。④具有良好的开放性。⑤能同时支持多种输入与输出设备并行工作。1.3.2桌面式ＶＲ系统(DesktopVR)桌面式虚拟现实系统也称窗口虚拟现实，是利用个人计算机或初级图形工作站等设备，以计算机屏幕作为用户观察虚拟世界的一个窗口，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，通过包括键盘、鼠标和力矩球等各种输入设备操纵虚拟世界，实现与虚拟世界的交互桌面式虚拟现实系统主要具有以下三个特点：①用户处于不完全沉浸的环境，缺少完全沉浸、身临其境的感觉，即使戴上立体眼镜，他仍然会受到周围现实世界的干扰。②对硬件设备要求极低，有的简单型甚至只需要计算机，或是增加数据手套、空间跟踪设置等。③由于桌面式虚拟现实系统实现成本相对较低，应用相对比较普遍，而且它也具备了沉浸性虚拟现实系统的一些技术要求。1.3.3增强式VR系统(AugmentedVR)增强式虚拟现实系统(AVR)既可以允许用户看到真实世界，同时也可以看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟环境组合在一起的一种系统增强式虚拟现实系统主要具有以下三个特点：①真实世界和虚拟世界融为一体。②具有实时人机交互功能。③真实世界和虚拟世界是在三维空间中整合的。1.3.4分布式虚拟现实系统（DistributedVR）虚拟现实系统运行在分布式系统下有两方面的原因：一方面是充分利用分布式计算机系统提供的强大计算能力；另一方面是有些应用本身具有分布特性，如多人通过网络进行游戏和虚拟战争模拟等。分布式虚拟现实系统有以下特点：①各用户具有共享的虚拟工作空间。②伪实体的行为真实感。③支持实时交互，共享时钟。④多个用户可以各自不同的方式相互通信。⑤资源信息共享以及允许用户自然操纵虚拟世界中的对象。1.4虚拟现实中人的因素1.4.1人的视觉1、人类的视觉模型2、立体视觉人在现实世界中看到的物体是立体的，这样可以感觉出被看物体的远近。3、屈光度人的屈光度是可以变化的，这称为调节或聚\焦。这保证对远近物体都能看到清晰的图像。4、瞳孔瞳孔是晶状体前的孔，直径可变化。5、分辨力分辨力是人眼区分两个点的能力。6、明暗适应人眼对亮度的变化感觉会自动进行调节，这是通过改变在视杆和视锥细胞中光敏化合物的浓度。7．周围视觉和中央视觉视网膜不仅是被动的光敏表面，通过视杆和视锥细胞与神经细胞的连接，它还有一定的图像处理能力。8．视觉暂留人的眼睛具有保持视觉印象的特性。当光对视网膜所产生的视觉在光停止作用后，仍保留一段时间的现象，这就是视觉暂留。9．视场视场（fieldofview:FOV）指人眼能够观察到的最大范围，通常以角度来表示，视场越大,观测范圉越大。1.4.2人的耳朵1、人类的听觉模型耳分为外耳、中耳、内耳。外耳、中耳是接受并传导声音的装置；内耳则是感受声音和初步分析声音的场所。所以，外耳、中耳合称为传音系统，而内耳及其神经传导径路则称为感音神经系统.外耳包括耳廓和外耳道两部分。主要作用是收集及部分放大声音和参与声音方向的辨别。中耳的结构比外耳复杂，有鼓室、咽鼓管、鼓窦及乳突4部分。鼓室又称中耳腔，容积约为2毫升。中耳腔内有一条通到鼻咽部的管道，叫做咽鼓管。咽鼓管使中耳与外界相通，起到调节鼓室压力的作用内耳构造非常精细，管道盘旋，好像迷宫一样，故称为迷路。内耳分为3部分，即半规管，前庭和耳蜗。半规管和前庭主要负责身体平衡，耳蜗则负责感受声音。外耳把声音引导进内耳，它也作为滤波器而改变声音。把手放在耳前面，就会感到声音变化。声音最终冲击耳膜，使之振动。耳膜振动再传到耳蜗，并且振动加大20倍。听觉的产生过程是一个复杂的生理过程，它包括3个基本过程：①声波在耳朵内部的传递过程。②声波在传递过程中由声波引起的机械振动转变为生物电能，同时通过化学递质的释放而产生神经冲动的过程。③听觉中枢对传人信息进行综合加工处理的过程。2、频率范围3、声音的定位4、头部有关的传递函数1.4.3身体感觉1、体感①深度感觉：②内脏感觉：③本体感觉：④外感受感觉：2、痛感3、触觉4、体位感1.4.4健康与安全问题1.5虚拟现实技术的研究1.5.1国外的研究状况1、美国虚拟现实技术诞生于美国，是全球研究最早，研究范围最广的国家，美国虚拟现实研究技术的水平基本上就代表国际虚拟现实发展的水平。2、欧洲欧洲的虚拟现实技术研究主要由欧共体(CEC)的许多计划支持，在英国、德国、瑞典、西班牙、荷兰等国家都积极进行了虚拟现实的开发与应用3.亚洲在亚洲，日本的虚拟现实研究发展十分迅速，同时韩国、新加坡等国家也在积极开展虚拟现实技术方面的研究工作。1.5.2国内的研究状况我国虚拟现实技术研究始于20世纪90年代初，相对其它国家来说起步较晚，技术上有一定的差距，但已引起我国政府有关部门和科学家们的高度重视，并及时根据我国的国情，制定了开展虚拟现实技术的研究计划。1.5.3目前存在的问题1、硬件设备方面(1)相关设备普遍存在使用不方便，效果不佳(2)硬件设备品种有待进一步扩展(3)虚拟现实系统应用的相关设备价格也比较昂贵现在大多数虚拟现实软件普遍存在语言专业性较强，通用性较差，易用性差。同时，由于硬件设备的诸多局限性，使得软件的开发费用也十分巨大，而且软件所能实现的效果受到时间和空间的影响较大。3、实现效果方面（1）虚拟世界的表示侧重几何图形表示，缺乏逼真的物理、行为模型（2）虚拟世界的感知方面，有关视觉方面研究多，听觉、触觉（力觉）关注较少，真实性与实时性不足。（3）在与虚拟世界的交互中，自然交互性不够，基于自然的交互效果还远不能令人满意。4、应用方面1.5.4今后的研究方向1、人机交互接口2、感知研究领域3、高效的虚拟现实软件和算法4、廉价的虚拟现实硬件系统5、智能虚拟环境1.6虚拟现实技术的应用1.6.1军事与航空航天1．军事上的应用（1）军事训练方面①虚拟战场环境。②近战战术训练③单兵模拟训练④诸军兵种联合战略战术演习。（2）在武器装备研究与新武器展示中的应用。①在武器设计研制过程中，采用虚拟现实技术提供先期演示，检验设计方案，把先进设计思想融入武器装备研制的全过程，从而保证总体质量和效能②研制者和用户利用虚拟现实技术，可以很方便介入系统建模和仿真试验的全过程，既能加快武器系统的研制周期，又能合理评估其作战效能及其操作的合理性，使之更接近实战的要求。③采用虚拟现实技术对未来高技术战争的战场环境、武器装备的技术性能和使用效率等方面进行仿真，有利于选择重点发展的武器装备体系，改善其整体质量和作战效果。④很多武器供应商借助于网络，采用虚拟现实系统来展示武器的各种性能。2.航空航天方面的应用（1）NASA的虚拟现实训练（2）EVA的虚拟现实训练（3）英国空军的虚拟座舱1.6.2教育与培训1．虚拟校园虚拟校园是指从因特网、虚拟现实技术、网上虚拟社区和3S技术的发展角度，对现实大学三维景观和教学环境的虚拟化和数字化，是基于现实大学的一个三维虚拟环境，用于支持对现实大学的资源管理、环境规划和学校发展。2．虚拟演示教学与实验利用虚拟现实技术在课堂上可对办公自动化设备三维展示，并模拟通电运行，特别对于有些学校缺乏相应的实验设备情况下十分恰当，一方面可大大提高教学效果，一方面可节省大量的实验投资。3远程教育系统可以弥补远程教学条件的不足，彻底打破空间、时间的限制4特殊教育5技能培训将虚拟现实技术应用于技