第七章虚拟现实及其应用

浙江师范大学教育技术系主讲：夏洪文第七章虚拟现实及其应用2/105本章要点本章要点•虚拟现实的定义和特征•虚拟现实系统的构成与分类•虚拟现实实现的关键技术与设备•虚拟现实建模语言VRML•虚拟现实的教育应用3/1057.1虚拟现实的定义和特征•7.1.1虚拟现实的定义–虚拟现实（VirtualReality）技术是20世纪80年代末90年代初崛起的一种实用技术。它是由计算机硬件、软件以及各种传感器构成的三维信息的人工环境——虚拟环境，可以真实的模拟现实世界可以实现的（甚至是不可实现的）物理上的、功能上的事物和环境。用户投入到这种环境中，立即有“亲临其境”的感觉，并可亲自操作、实践，与虚拟的环境交互作用。4/105–这里所谓虚拟环境就是用计算机生成的具有表面色彩的立体图形，它可以是某一特定现实世界的真实体现，也可以是纯粹构想的世界。传感设备包括立体头盔，立体眼镜等在用户身上的装置和设置于现实环境中的传感装置。自然交互是指用日常使用的方式对环境内的物体进行操作(如用手拿东西，行走等)并得到实时立体反馈。5/1057.1.2虚拟现实的特征图7-1：虚拟感应头盔、遥控手柄、数据手套6/1051.多感知性(Multi－Sensory)所谓多感知就是除了一般计算机技术所具有的视觉感知之外，还有听觉感知，力觉感知，触觉感知，运动感知，甚至应该包括味觉感知，嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术，特别是传感技术的限制日前虚拟现实技术所具有的感知功能仅限于视觉、听觉、力觉、触觉，运动等几种，而且无论从感知范围还是从感知的精确程度都还无法与人相比拟。7/1052．沉浸感(presence)又称为临场感(Immersion)，它是指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该达到使用户难以分辨真假的程度(例如，可视场景应随着视点的变化而变化)，甚至比真的还“真”，如实现比现实更逼真的照明和音响效果等。8/1053．交互性(Interaction)交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手去直接抓取模拟环境中的物体，这时手有握着东西的感觉。并可以感觉物体和重量(其实这时手里并没有实物)，视觉中被抓的物体也立刻随着手的移动而移动。9/105虚拟现实的特征4．自主性(Autonomy)自主性是指虚拟环境中物体反映现实规律的程度。例如，当受到力的推动时，物体会向力的方向移动或翻倒，或从桌面落到地面等。10/1057.1.3虚拟现实的用途领域用途医学外科手术，远程遥控手术，身体复建，虚拟超音波影像，药物合成教育虚拟天文馆，远距教学艺术虚拟博物馆，音乐商业电传会议，电话网路管理，空中交通管制景观模拟建筑设计，室内设计，工业设计，地形地图科学视觉化数学、物理、化学、生物、古生物、考古、行星表面重建，虚拟风洞试验，分子结构分析军事飞行模拟，军事演习，武器操控太空太空训练，太空载具驾驶模拟机械人机械人辅助设计，机械人操作模拟，远程操控工业电脑辅助设计娱乐电脑游戏11/1057.2虚拟现实系统的构成与分类•虚拟现实系统的构成虚拟现实技术的实现，主要分三大块：建模技术、显示技术、三维场景中的交互技术。具体来说虚拟现实系统主要由以下五个模块构成：图7-2虚拟现实系统的构成12/1057.2.1虚拟现实系统的构成1.检测模块：检测用户的操作命令，并通过传感器模块作用于虚拟环境。2.反馈模块：接受来自传感器模块信息，为用户提供实时反馈。3.传感器模块：一方面接受来自用户的操作命令，并将其作用于虚拟环境；另一方面将操作后产生的结果以各种反馈的形式提供给用户。4.控制模块：对传感器进行控制，使其对用户、虚拟环境和现实世界产生作用。5.建模模块：获取现实世界组成部分的三维表示，并由此构成对应的虚拟环境。13/1057.2.2虚拟现实系统的分类•虚拟现实系统按其功能高低大体可分为四类：1．桌面虚拟现实系统，也称窗口中的VR。它可以通过桌上型机实现，所以成本较低，功能也最简单，主要用于CAD（计算机辅助设计）、CAM（计算机辅助制造）、建筑设计、桌面游戏等领域。2．沉浸虚拟现实系统，如各种用途的体验器，使人有身临其境的感觉，各种培训、演示以及高级游戏等用途均可用这种系统。14/1053．分布式虚拟现实系统，它在因特网环境下，充分利用分布于各地的资源，协同开发各种虚拟现实的利用。它通常是浸沉虚拟现实系统的发展，也就是把分布于不同地方的沉浸虚拟现实系统，通过因特网连接起来，共同实现某种用途。15/105分布式虚拟现实系统（DVR）即是一个较为典型的实例。所谓DVR是指一个支持多人实时通过网络进行交互的软件系统，每个用户在一个虚拟现实环境中，通过计算机与其它用户进行交互，并共享信息。把分布式虚拟现实系统用于建造人体模型、电脑太空旅游、化合物分子结构显示等领域，由于数据更加逼真，大大提高了人们的想象力、激发了受教育者的学习兴趣，学习效果十分显著。同时，随着计算机技术、心理学、教育学等多种学科的相互结合、促进和发展，系统因此能够提供更加协调的人机对话方式。16/1054．增强现实又称混合现实系统。它是把真实环境和虚拟环境结合起来的一种系统，既可减少构成复杂真实环境的开销（因为部分真实环境由虚拟环境取代），又可对实际物体进行操作（因为部分系统即系真实环境），真正达到了亦真亦幻的境界，是今后发展的方向。17/1057.3虚拟现实实现的关键技术与设备7.3.1实时立体视觉与广角立体显示•相比较而言，利用计算机模型产生图形图像并不是太难的事情。如果有足够准确的模型，又有足够的时间，我们就可以生成不同光照条件下各种物体的精确图像，但是这里的关键是实时。例如在飞行模拟系统中，图像的刷新相当重要，同时对图像质量的要求也很高，再加上非常复杂的虚拟环境，问题就变得相当困难。18/105•人看周围的世界时，由于两只眼睛的位置不同，得到的图像略有不同，这些图像在脑子里融合起来，就形成了一个关于周围世界的整体景象，这个景象中包括了距离远近的信息。当然，距离信息也可以通过其他方法获得。19/105•在VR系统中，双目立体视觉起了很大作用。用户的两只眼睛看到的不同图像是分别产生的，显示在不同的显示器上。有的系统采用单个显示器，但用户带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，奇、偶帧之间的不同也就是视差就产生了立体感。20/105图7-3FlyVR实景虚拟现实平台图7-4环形或球幕投影系统21/1057.3.2头部及体位追踪•用户（头、眼）的跟踪：在人造环境中，每个物体相对于系统的坐标系都有一个位置与姿态，而用户也是如此。用户看到的景象是由用户的位置和头（眼）的方向来确定的。•跟踪头部运动的虚拟现实头套：在传统的计算机图形技术中，视场的改变是通过鼠标或键盘来实现的，用户的视觉系统和运动感知系统是分离的，而利用头部跟踪来改变图像的视角，用户的视觉系统和运动感知系统之间就可以联系起来，感觉更逼真。另一个优点是，用户不仅可以通过双目立体视觉去认识环境，而且可以通过头部的运动去观察环境。22/105•在用户与计算机的交互中，键盘和鼠标是目前最常用的工具，但对于三维空间来说，它们都不太适合。在三维空间中因为有六个自由度，我们很难找出比较直观的办法把鼠标的平面运动映射成三维空间的任意运动。现在，已经有一些设备可以提供六个自由度，如3Space数字化仪和SpaceBall空间球等。另外一些性能比较优异的设备是数据手套和数据衣。23/1057.3.3立体声与虚拟立体声的产生•人能够很好地判定声源的方向。在水平方向上，我们靠声音的相位差及强度的差别来确定声音的方向，因为声音到达两只耳朵的时间或距离有所不同。常见的立体声效果就是靠左右耳听到在不同位置录制的不同声音来实现的，所以会有一种方向感。现实生活里，当头部转动时，听到的声音的方向就会改变。但目前在VR系统中，声音的方向与用户头部的运动无关。24/105•1．在虚拟环境中的声音生成和显示系统为达到一定的仿真逼真度，应该达到以下一些目标:(1)声音的生成和显示系统应能够在可听范围内体现较高的频率分辨度，声音的生成和显示系统应能反映目标实体的方位、距离等信息及音调变化;(2)能表达多个静止或运动的声源，支持多个听点和听点切换;(3)与其他通道的良好融合、匹配和同步。25/105•2．扬声器生成虚幻声像原理图7-5扬声器生成虚幻声像如图7-5所示的一对扬声器，分别输出相干的声音信号，通过控制信号的增益、相位可以让听者产生听觉上的虚幻声像，人耳可以自然地根据不同位置的扬声器发出的声音来识别虚拟环境中动态目标的方位。26/1057.3.4触觉与力觉的技术•从物理学仿真角度看，包括接触觉(TactileorTouchSensing)和力觉(ForceSens-ing)的触觉感知(HapticSensing),在基于虚拟现实操作系统中是不可或缺的重要感觉。当前，虚拟环境中大多数数据信急是采用视觉传感器以及非接触型传感器(如超声测距传感器等)采集的。27/105•然而，实际工作中很多操作任务的信急要求具备敏捷的控制和接触感觉。在虚拟环境中，由于缺乏触觉感知反馈(HapticFeedback)手段，而使许许多多的信号源很难反馈和显示给异地的用户，从而难以实现更加全而的人一机交互作用。显而易见，没有基于几虚拟现实的触觉感知反馈作用，就很难满足各种工程实际应用的要求。•在一个VR系统中，用户可以看到一个虚拟的杯子。你可以设法去抓住它，但是你的手没有真正接触杯子的感觉，并有可能穿过虚拟杯子的“表面”，而这在现实生活中是不可能的。解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉。28/1057.3.5虚拟现实中使用的输出/输入技术•语音、自然语言、手势、视线跟踪及头部跟踪等各种形式的输入技术正在研究中，沉浸式的头盔显示器已经开始使用，新的立体显示设备也正在研制。•在VR系统中，语音的输入输出也很重要。这就要求虚拟环境能听懂人的语言，并能与人实时交互。而让计算机识别人的语音是相当困难的，因为语音信号和自然语言信号有其“多边性”和复杂性。例如，连续语音中词与词之间没有明显的停顿，同一词、同一字的发音受前后词、字的影响，不仅不同人说同一词会有所不同，就是同一人发音也会受到心理、生理和环境的影响而有所不同。29/105•使用人的自然语言作为计算机输入目前有两个问题，首先是效率问题，为便于计算机理解，输入的语音可能会相当罗嗦。其次是正确性问题，计算机理解语音的方法是对比匹配，而没有人的智能。30/1057.4虚拟现实建模语言VRML7.4.1VRML概述•VRML（VirtualRealityModelingLanguage）即虚拟现实建模语言，是一种用于建立真实世界的场景模型或人们虚构的三维世界的场景建模语言。也就是说，它是用来描述三维物体及其行为的，可以构建虚拟境界（VirturalWorld）。VRML的基本目标是建立因特网上的交互式三维多媒体，基本特征包括分布式、三维、交互性、多媒体集成、境界逼真性等。是目前Internet上基于WWW的三维互动网站制作的主流语言。VRML虽然还很不成熟，但已经表现出其百折不挠的强大生命力，它必将成为WWW服务的新一代标准。31/1057.4.2VRML的基本内容1.VRML文档VRML文档是用VRML语言组织起来的一个扩展名为.wrl的文本文件或扩展名为.wrz的二进制文件（压缩格式），它可以通过WWW浏览器向用户展示虚拟现实情景。它通常由四个部分组成：文件头、节点、域值、注释。32/105例如，下面是一个显示无顶面的杯状体的VRML文档#VRMLV2.0utf8Shape{appearanceAppearance{materialMaterial{}#使用默认材质和颜色}geometryCylinder{radius3height6sideTRUEtopFALSEbottomTRUE}}33/10