7虚拟现实的硬件与软件基础77

第二章虚拟现实的硬件与软件基础高性能计算机；广角（宽视野）的立体显示设备；观察者（头、眼）的跟踪设备；人体姿势的跟踪设备；立体声；触觉、力觉反馈；语音输入输出等。2.1概论虚拟现实的硬件设备:交互性是虚拟现实系统的首要特性。为了允许人机交互，必须使用特殊的人机接口与外部设备，既要允许用户将信息输入到计算机，也要使计算机能反馈信息给用户。今天的VR外部设备在功能和目的上各不相同。例如：身体运动由3-D位置跟踪器跟踪；手势由传感手套数字化；视觉反馈发送给立体显示器；虚拟声音由3-D声音生成器计算；观察方向随跟踪球和操纵杆改变等。虚拟现实应用系统的特点：具有灵活性、可移植性与实时交互的特性。本章内容：将描述一些虚拟现实硬件设备及其软件，并分别讲述其功能、特征以及当前的局限性。2.2VR硬件的系统集成虚拟现实（VR）系统集成的关键技术：虚拟现实系统中通常包括大量需要处理来自各种设备的感知信息、模型和数据，因此，建立一个以计算机为核心、将多种I/O交互设备协调组合在一起的硬件平台，是VR系统集成的关键技术。计算机系统的作用：实时处理、数据输入/输出、虚拟境界的管理和生成等功能。计算机系统的功能：（1）要保障虚拟三维场景的实时计算和显示，尽量减少延迟；(2)另一方面还要协调各种I/O交互设备之间的工作，以确保系统整体运行的性能。目前虚拟现实的计算机系统可以是PC机、工作站和超级计算机等，而且多数情况下都采用多种机，并以各种方式连接。PC机和工作站的比较：（1）PC机一般只能用于低档的VR系统，这主要是因为与工作站和超级计算机相比，它的图形和声音处理功能都是有限的。（2）工作站专门用于虚拟现实系统中，它具有多个处理器，以便进一步增强整体系统结构，其中有的系统可以允许一百多个处理器同时运行一个程序，从而使VR系统的性能达到最佳。虚拟现实的集成系统:是指在工作站或者PC机上工作的不同组合虚拟现实硬、软件工具包。它提供了一套紧凑的设备，在此系统内，虚拟世界可被创造、仿真和可视，还能通过这些集成设备获得浸入式体验。下面以VIEW（VirtualInterfaceEnvironmentWorkstation）为例，介绍VR系统平台。VIEW系统组成VIEW由一组由计算机控制的I/O子系统组成：它以HP公司的HP900／835为主，图形处理采用SGI公司的图形计算机或HPSRX图形系统配备了Plohemus空间跟踪系统来跟踪使用者手部的位置，配备了LEEP广角立体视景头戴显示器和单色液晶显示器，双屏显示器的三维场景由遥控摄像机获取，且视景可随着操作者的视线（头部位姿）变化；头盔上有一个麦克风以便作语音识别，两个耳机进行三维声音跟踪，Convolvotron三维音频输出设备则使整个虚拟环境附有立体声音响；VPL数据手套用于识别使用者手势控制系统的行为，使操作者能够借助语音、手语（手指动作的组合姿态由数据手套Dataglove形成）与环境交互；同时还配备了BOOMCRT显示器及FakeSpace远程摄像系统。这些子系统分别提供虚拟环境所需的各种感觉通道的识别和控制功能。使用者“置身”于这样的VR环境，周围是预先定义好的虚拟物体及三维空间的声响效果，从而为各类VR应用系统的研发提供了一个方便。VIEW系统的应用：远程机器人控制，复杂信息管理及人类诸因素的研究。目前大多数虚拟现实系统的硬件体系结构都由VIEW发展而来。同时，这种以基于LCD的头盔显示器、数据手套及头部跟踪器为特征的硬件体系结构也己成为当今虚拟现实系统的主流。2.3VR的三维跟踪传感设备三维交互设备的作用：把各种信息输入计算机，并向用户提供相应的反馈，它们是使参与者能以人类自然技能与虚拟环境交互的必要工具。三维交互设备的分类：根据传感渠道以及在功能和目的上的不同，虚拟现实系统的三维交互设备主要被分为三维跟踪传感设备，立体显示设备、手数字化设备、声音设备以及系统集成设备等几大类。虚拟现实技术是在三维空间中与人交互的技术，为了能及时、准确地获取人的动作信息，需要有各类高精度、高可靠的跟踪定位设备。传感器技术，它是VR系统中实现人机之间沟通的极其重要的通信手段，是实时处理的关键技术。目前虚拟现实系统使用的仍是多年来的常用方法，其典型的工作方式是，固定发射器发射出电磁信号，该信号被附在用户头上的机动传感器截获，传感器接收到这些信号后进行解码，确定发射器与接收器之间的相对位置及方位，信号随后传输到时间运行系统进而传给三维图形环境处理系统。2.3.1电磁波跟踪器原理：它使用一个信号发生器（3个正交线圈组）产生低频电磁场，然后由放置于接收器中的另外三组正交线圈组负责接收，通过获得的感生电流和磁场场强的9个数据来计算被跟踪物体的位置和方向（如图）。特点：体积小、价格便宜、用户运动自由，而且敏感性不依赖于跟踪方位，但是其系统延迟较长，跟踪范围小，且准确度容易受环境中大的金属物体或其他磁场的影响。常用电磁波跟踪器多数电磁波跟踪器采用交流磁场（如Polhemus的跟踪器），但也有的采用直流磁场（如Ascension的跟踪器）交变电磁跟踪系统对传感器或接收器附近的电磁体较为敏感，它会因为周围环境中的金属或铁磁性物质而产生涡旋电流和干扰性次磁场，从而导致信号发生畸变，跟踪精度降低。直流电磁跟踪系统只是在测量开始时产生涡旋电流而在稳定状态下衰减为零，这就减少了畸变磁场的产生率，使跟踪精确度大大提高。且能够保证在较大操作范围内的高灵敏度。2.3.2超声波跟踪器工作原理：发射器发出高频超声波脉冲（频率20kHz以上）后，由接收器计算收到信号的时间差、相位差或声压差等，就可以跟踪物体的距离和方位了。特点：性能适中，成本低廉，而且不会受外部磁场和大块金属物质的干扰，敏感性却容易受接收器的方位和空气密度的影响。分类：按照测量方法的不同，分为飞行时间测量法和相位相干测量法。声波飞行时间跟踪的原理：通过测量声波的飞行时间延迟来确定距离的。它同时使用多个发射器和接收器，以便获得一系列的距离量，从而计算出准确的位置和方向。声波飞行时间跟踪的特点：具有较好的精确度和响应性；易受到外界噪音脉冲的干扰，同时数据传输率还会随着监测范围的扩大而降低，适用于小范围内的操作环境。相位相干跟踪的原理：通过比较基准信号和传感器监测到的发射信号之间的相位差来确定距离的。相位相干跟踪的特点：具有较高的数据传输率、可保证系统监测的精度、响应性以及耐久性等，而不受到外界噪声的干扰。2.3.3光学跟踪器光学跟踪器可以使用自然光、激光或红外线等作为光源，但为避免干扰用户的观察视线，目前多采用红外线方式。优点：可工作范围较小、其数据处理速度、响应性都非常好，适用于头部活动范围相当受限但要求具有较高刷新率和精确率的实时应用。光学跟踪传感器结构的实现方法通常有两种：“由外向内”方式和“由内向外”方式。“由外向内”方式特点和原理：传感器是固定的，发射器是可移动的。它通常是利用置于已知位置的多台照相机或摄像机，追踪放置在被监测物体表面的红外线发光二极管的位置，并通过观察多个目标来计算它的方位。“由外向内”方式不足：这类光学跟踪器采用了昂贵的信号处理器硬件，因此它主要用于飞机座舱模拟。“由内向外”方式特点和原理：发射器是固定的，而传感器是可移动的。由于在此种方式中，多个传感器可以由一组发射器支持，因而在定点传送系统跟踪多个目标的时候，具有比“由外向内”方式更优秀的性能。2.3.4其他空间跟踪系统1.机械跟踪器：通常把参考点和跟踪体直接通过连杆装置相连。它采用钢体框架，一方面可以支撑观察设备，另一方面可以测量跟踪体的位置和方位。这种跟踪器的精度和响应性适中，不受电磁场的影响，但活动范围十分有限，而且对用户有一定的机械束缚。2.惯性跟踪器：惯性跟踪器也是采用机械方法，其原理是利用小型陀螺仪测量被监测物在其倾角、偏角和转角方面的数据。它不是一种六自由度的设备，但在不需要位置信息的场合还是十分有用的。3.图像提取跟踪器：原理:由一组（两台或两台以上）视频摄像机拍摄人及其动作，然后通过图像处理技术的运算和分析来确定人的位置及动作。优点:作为一种高级的采样识别技术，图像提取跟踪设备的计算密度高，又不会受附近的磁场或金属物质的影响，而且对用户没有运动约束，因而在使用上具有极大的方便。缺点:由于图像提取跟踪设备是通过比较已知的采样位置和传感的采样来确定位置的，因而对监测物体的距离和监测环境的灯光照明系统要求较高，通常远距离的物体或过强、过弱的照明都会降低采样识别系统的精确度。另外，较少数量的摄像机可能使监测环境中的物体（包括参与者）出现在摄像机视野中被屏蔽的现象，而较多数量的摄像机又会增加采样识别算法的复杂度和系统冗余度。2.3.5对跟踪传感设备的评价跟踪装置的性能指标主要包括：（1）等待时间（即延迟）指从采样开始到数据可以处理之前的时间间隔；我们要求跟踪设备的系统延迟应足够短，因为长延迟会影响沉浸效果。（2）位置精度即实际位置与测量位置之间的偏差；偏差越小，随着用户动作产生的模拟效果就越好。（3）分辨率即设备能检测到的最小位移；另外还有取样率、运行约束、环境隔离要求等指标。表3种常用跟踪技术的主要性能指标333跟踪器类型分辨率精度延迟跟踪范围电磁波1mm0.03mm3mm0.1mm50ms半径1.6m的半球形超声波10mm0.5mm依空气密度变化30ms4～5m光学2rnrn0.02mm1rnrn＜1ms4～8m（可扩展至14m）333跟踪器类型分辨率精度延迟跟踪范围电磁波1mm0.03mm3mm0.1mm50ms半径1.6m的半球形超声波10mm0.5mm依空气密度变化30ms4～5m光学2rnrn0.02mm1rnrn＜1ms4～8m（可扩展至14m）333跟踪器类型分辨率精度延迟跟踪范围电磁波1mm0.03mm3mm0.1mm50ms半径1.6m的半球形超声波10mm0.5mm依空气密度变化30ms4～5m光学2rnrn0.02mm1rnrn＜1ms4～8m（可扩展至14m）33跟踪器类型分辨率精度延迟跟踪范围电磁波1mm0.03mm3mm0.1mm50ms半径1.6m的半球形超声波10mm0.5mm依空气密度变化30ms4～5m3光学2mm0.02mm1mm＜1ms4～8m3（可扩展至14m3）2.4VR的立体显示设备对虚拟世界的沉浸感主要依赖于人类的视觉感知。人眼立体视觉效应的原理:当人在现实生活中观察物体时，双眼之间6～7cm的距离（瞳距）会使左、右眼分别产生一个稍有不同的图像（即体视差），我们的大脑通过分析后会把这两幅图像融合为一幅画面，并由此获得距离和深度的感觉。比较常用的显示设备主要有立体眼镜、头盔显示器、双目全方位显示器以及大屏幕立体投影等。2.4.1头盔显示器（Head一Mounted3DDisplay，HMD）HMD是专为用户提供虚拟现实中立体景物的显示器。HMD的工作原理：它通常被固定在用户的头部，由两个LCD或CRT显示器分别向两只眼睛提供图像，这两个显示屏中的图像由计算机分别驱动，屏上的两幅图像存在着细小的差别，类似于“双眼视差”，大脑将融合这两个视差图像以获得深度感知。HMD的特点：它可以使参与者暂时与真实世界隔离开，而处于完全沉浸状态。双眼局部重叠的头盔显示器光学模型安装在头盔上的显示器可以包括：阴极射线管（CRT）、液晶显示（LCD）、发光二极管（LED）、荧光管、液晶开关显示器以及微机械硅显示器等多种显示技术。现阶段最为常用的是CRT和LCD两种，其中，CRT显示器具有较高分辨率，而LCD显示器具有较好的亮度，预计微机械硅显示器将成为今后新型HMD显示部件的发展主流。与立体眼镜等显示设备相比，头盔显示器虽然价格昂贵，但却具有较好的沉浸感，而且用户的走动自由。当然，它也存在着诸如约束感较强、LCD的分辨率偏低，失真较大等问题。衡量头盔显示器性能的规格参数及其含义：（1）逼真的立体视觉（双眼视觉）“逼真”