第三章--显示综合-虚拟现实技术122

虚拟现实技术一、虚拟现实的基本概念二、虚拟现实的基本特征三、虚拟现实技术的发展四、虚拟现实分类五、虚拟现实系统的主要技术构成六、虚拟现实的应用领域人类有许多梦想，一些梦想已经变为现实，而有一些梦想也许永远都不可能实现。然而，有一种技术却能使一切梦想全部在感知中实现，这就是虚拟现实技术（VirtualReality，简称VR）。虚拟现实（VR）技术是20世纪90年代以来兴起的一种新型信息技术，它集多媒体、网络技术、传感技术等多种先进技术为一体，是当今前景最好的计算机技术之一。几种虚拟现实虚拟环境虚拟房间虚拟汽车虚拟人VirtualReality（VR）(J.Lanier,1989)译为:虚拟现实、灵境、幻真...其他：VirtualEnvironmentArtificialReality(M.W.Krueger,1970s)Cyberspace(W.Gibson,1984)一、虚拟现实的基本概念虚拟现实是一种可以创建和体验虚拟世界的计算机系统。而虚拟世界是全体虚拟环境或给定仿真对象的全体。虚拟环境是由计算机生成的，通过视、听、触觉等作用于用户，使之产生身临其境感觉的交互式视景仿真。利用计算机生成的能给人多种感官刺激的人机交互系统。用计算机技术来生成一个逼真的三维视觉、听觉、触觉或嗅觉等感觉世界，让用户可以从自己的视点出发，利用自然的技能和某些设备对这一生成的虚拟世界客体进行浏览和交互考察。①逼真的感觉视觉，听觉，触觉，嗅觉等②自然的交互运动，姿势，语言，身体跟踪等③个人的视点用户的眼、耳、身所感到的感觉信④迅速的响应感觉信息根据视点变化和用户输入及时更新一、虚拟现实的基本概念一、虚拟现实的基本概念虚拟现实是一项综合技术涉及：计算机图形学、人机接口技术、图像处理与模式识别、多传感器技术、语音处理与音响技术、网络技术、并行处理技术、高性能计算机系统、人工智能技术...核心：2M(MPP,MultiMedia),2O(OpenSystem,Object-oriented)需要：计算机专家、人类工程学(Ergonomics)专家、心理学专家等共同开发研究。两个方面：第一是计算机生成的虚拟环境必须是能给人提供多种感觉的感官刺激的环境，能让人有“沉浸”的感觉，现在的技术水平，虚拟现实通常由视觉、听觉和触觉构成。其二是虚拟现实系统是一种高级的人机交互系统，因此人机交互是虚拟现实的核心。二、虚拟现实的基本特征1、沉浸性(Immersion):又称临场感，让用户感到作为主角存在于模拟环境中的真实程度，沉浸被通俗地解释为“身临其境”。虚拟技术三角形①视觉沉浸：显示象素足够小、刷新频率足够高、具有双目视差、足够大的视场等；②听觉沉浸：三维声音；③触觉沉浸：力反馈方面；④嗅觉沉浸⑤身体感觉沉浸、味觉沉浸等二、虚拟现实的基本特征(2)交互性(Interaction):交互性指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度（包括实时性）。(3)构想性(Imagination):用户沉浸在多维信息空间中，依靠自己感知和认知能力全方位地获取知识，发挥主观能动性，寻求解答，形成新概念。虚拟技术三角形特点：①虚拟环境中人的参与与反馈；②人机交互的有效性③人机交互的实时性虚拟现实与仿真的区别仿真技术虚拟现实多感知视觉、听觉视觉、听觉、触觉、力觉等存在感用户被视为“旁观者”用户沉浸其中，可视场景随用户的视点变化交互性不强调交互的实时性实时交互三、虚拟现实技术的发展1965年，Sutherland在篇名为《终极的显示》（TheUltimateDisplay）的论文中首次提出了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本思想，从此，人们正式开始了对虚拟现实系统的研究探索历程。1970年，出现了第一个功能较齐全的HMD系统。美国的JaronLanier在80年代初正式提出了“VirtualReality”一词。80年代，美国宇航局（NASA）及美国国防部组织了一系列有关虚拟现实技术的研究，并取得了令人瞩目的研究成果。1984年，NASAAmes研究中心虚拟行星探测实验室组织开发了用于火星探测的虚拟环境视觉显示器，将火星探测器发回的数据输入计算机，为地面研究人员构造了火星表面的三维虚拟环境。90年代，迅速发展阶段。例如1993年的11月，宇航员利用虚拟现实系统成功地完成了从航天飞机的运输舱内取出新的望远镜面板的工作，而用虚拟现实技术设计波音777获得成功，是近年来引起科技界瞩目的又一件工作。1994年，美国SGI公司和比利时的BARCO投影机制造公司，在英国建设了世界上第一个虚拟现实系统。到2002年底，全球的虚拟现实系统已达500多个。除石油工业外，在计算机辅助制造、游戏娱乐业、航空航天、生物技术、军事、培训等众多领域均有广泛的应用。三、虚拟现实技术的发展四、虚拟现实分类按照系统功能和实现方式的不同，可以分为三种类型：沉浸型虚拟现实系统提供完全沉浸的体验。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身临其境、全心投入和沉浸其中的感觉。例如，在消防仿真演习系统中，消防员会沉浸于极度真实的火灾场景并做出不同反应。这种系统的优点是用户可完全沉浸到虚拟世界中去，缺点是系统设备尤其是硬件价格相对较高，难以大规则普及推广。（1）沉浸型虚拟现实系统（“可穿戴的”VR系统）沉浸式虚拟现实高级虚拟现实系统提供完全沉浸的体验，使用户有一种置身于虚拟境界之中的感觉。四、虚拟现实分类（2）简易型虚拟现实系统（桌面VR系统）桌面虚拟现实利用个人计算机和低级工作站进行仿真，将计算机的屏幕作为用户观察虚拟境界的一个窗口。通过各种输入设备实现与虚拟现实世界的充分交互，这些外部设备包括立体眼镜、3D控制器使监视器或者鼠标，追踪球，力矩球等。它要求参与者使用输入设备，通过计算机屏幕观察360度范围内的虚拟境界，并操纵其中的物体。桌面虚拟现实最大特点是缺乏真实的现实体验，但这种系统的特点是结构简单、价格低廉，组成灵活，易于普及推广，是一套经济实用的系统。桌面虚拟现实系统和沉浸式虚拟现实系统比较（1）沉浸度差异桌面虚拟现实系统采用CRT彩色显示器和三维立体眼镜增加身临其境感觉，而沉浸式虚拟现实系统则采用头盔显示器（HMD）增强身临其境感觉。（2）交互装置差异桌面虚拟现实系统采用的交互装置是六自由度鼠标器或三维操纵杆，而沉浸式虚拟现实系统采用的是数据手套和头盔。(3)分布式虚拟现实如果多个用户通过计算机网络连接在一起，同时参加一个虚拟空间，共同体验虚拟经历，那虚拟现实则提升到了一个更高的境界，这就是分布式虚拟现实系统。1分布式虚拟现实系统的应用分布式虚拟现实系统在远程教育、工程技术、建筑、电子商务、交互式娱乐、远程医疗、大规模军事训练等领域都有着极其广泛的应用前景。利用它可以创建多媒体通信、设计协作系统、实境式电子商务、网络游戏、虚拟社区全新的应用系统。洽谈讨论设计五、虚拟现实系统的主要技术构成COMPUTER计算机SOFTWARESYSTEM应用软件系统DATABASE数据库USER用户I/ODEVICES输入输出设备虚拟现实系统虚拟世界的生成、人与虚拟世界的自然交互识别用户各种形式的输入，并实时生成相应的反馈信息模型的建立、虚拟声音的生成、管理、显示、数据库的建立管理整个虚拟世界中所有物体的各方面信息(1)动态环境建模动态环境建模技术的目的就是获取实际环境的三维数据，并根据应用的需要建立相应的虚拟环境模型。(2)实时三维图形生成技术三维图形的生成技术已经较为成熟，至少要保证图形的刷新频率不低于15帧/秒，最好高于30帧/秒。提高刷新频率是该技术的主要内容。(3)立体显示和传感器技术虚拟现实的交互能力依赖于立体显示和传感器技术的发展，设备过重、分辨率低、延迟大、有线、跟踪精度低、视场不够宽、眼睛容易疲劳等，因此有必要开发新的三维显示技术。(4)应用系统开发工具虚拟现实的关键是寻找合适的场合和对象，即如何发挥想像力和创造性。选择适当的应用对象可以大幅度提高生产效率，减轻劳动强度，提高产品质量。(5)系统集成技术由于VR系统中包括大量的感知信息和模型，因此系统集成技术起着至关重要的作用。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、数据管理模型、识别与合成技术等等。实现虚拟现实的关键技术支持:实现虚拟现实的关键技术支持硬件方面跟踪系统：确定参与者头、手和躯干的位置；触觉系统：提供力与压力的反馈；音频系统：提供立体声源和判定空间位置；图像生成和显示系统：产生空间图像和立体显示；高性能计算机处理系统：具有高处理速度，大存储容量、强联网特性。软件方面能够接收高性能传感器的信息，如头盔的跟踪信息；能生成立体的显示图形，并可对虚拟环境作实时渲染；能提供对各种数据库、各种CAD软件进行调用和互联的集成环境。虚拟现实系统硬件配置示意图：几种常用的虚拟现实设备：高性能图形计算机环形屏幕头盔眼镜三维显示器三维鼠标手套设备：头盔显示器头盔显示器是虚拟现实应用中的3DVR图形显示与观察设备，可单独与主机相连以接受来自主机的3DVR图形信号。使用方式为头戴式，辅以空间跟踪定位器可进行VR输出效果观察，同时观察者可做空间上的自由移动，如；自由行走、旋转等，VR效果非常好，沉浸感极强，在VR效果的观察设备中，头盔显示器的沉浸感优于立体眼镜。头盔显示器视频透视HMD概念图光学透视HMD概念图场景生成器头部跟踪器头部定位图形图像光学合成器真实世界显示器场景生成器头部跟踪器头部定位图形图像合成的视频真实世界显示器视频合成器真实世界视频摄像机头盔显示器设备：三维立体眼镜立体眼镜是用于3D模拟场景VR效果的观察装置，它利用液晶光阀高速切换左右眼图像原理，有有线和无线之分，可支持逐行和隔行立体显示观察，也可用无线眼镜进行多人团体VR效果观察，是目前最为流行和经济适用的VR观察设备。设备：数据手套数据手套是虚拟现实应用的主要交互设备，它作为一只虚拟的手或控件用于3DVR场景的模拟交互，可进行物体抓取、移动、装配、操纵、控制，有有线和无线、左手和右手之分，可用于WTK、Vega等3DVR或视景仿真软件环境中。29虚拟现实交互设备数据手套传感器的典型配置30虚拟现实交互设备数据手套示例Immersion数据手套产品(a)(b)(c)(d)(e)31虚拟现实交互设备数据手套示例PinchGlove数据手套数据手套示例5DT数据手套：三维空间交互球三维空间交互球是虚拟现实应用中的另一重要的交互设备，用于六个自由度VR场景的模拟交互，可从不同的角度和方位对三维物体观察、浏览、操纵；也可作为3DMouse来使用；并可与数据手套或立体眼镜结合使用，作为跟踪定位器。也可单独用于CAD/CAM，(Pro/E、UG)。设备：位置跟踪器三维空间跟踪定位器是VR系统中用于空间跟踪定位的装置，一般与其他VR设备结合使用，如：数据头盔、立体眼镜、数据手套等，使参与者在空间上能够自由移动、旋转，不局限于固定的空间位置，操作更加灵活、自如、随意。产品有六个自由度和三个自由度之分。位置测量原理根据刚体动力学分析，能够用运动物体上参考点的坐标表示该物体的位置坐标，并通过测量该参考点到空间三个静止的非共线点之间的距离唯一确定位置和方向磁跟踪器工作原理：交流电流通过线圈产生变化的磁场，如果把一个线圈放在这个磁场中，线圈会产生感生电流，感生电流的强弱将由这两个线圈的距离以及他们之间的角度来确定。在磁跟踪器中，三个互相垂直的线圈组成了发射器（蓝色）。另外三个相互垂直的线圈组成接收器（红色）。通过计算机比较接收器三个线圈中的电流，可以确定接收器与发射器之间的相对位置和方向。37虚拟现实交互设备三维定