第二章_虚拟现实系统的硬件设备24

12虚拟现实系统的硬件设备虚拟现实系统中，硬件设备由三部分组成：输入设备输出设备虚拟世界生成设备22.1虚拟现实系统的输入设备输入设备分为两类：基于自然的交互设备，用于对虚拟世界信息的输入三维定位跟踪设备，用于对输入设备在三维空间中的位置进行判断，并送入虚拟现实系统中。32.1.1基于自然的交互设备数据手套：作为一只虚拟的手用于与虚拟现实系统进行交互，可以在虚拟世界中进行物体抓取、移动、装配、操纵、控制等操作，并把手指和手掌伸屈时的各种姿势转换成数字信号传送给计算机，计算机通过应用程序识别出用户的手在虚拟世界中操作时的姿势，执行相应的操作。在实际应用中，数据手套还必须配有空间位置跟踪器，检测手在空间中的实际方位及运动方向。现在已经有多种传感手套产品，区别主要在于采用传感器的不同。42.1.1基于自然的交互设备数据衣：让虚拟现实系统识别全身运动而设计的输入装置，可以检测出人的四肢、腰部等部位的活动，以及各关节弯曲的角度。它能对人体大约50多个不同的关节进行测量，通过光电转换，身体的运动信息送入计算机进行图像重建。52.1.1基于自然的交互设备三维控制器三维鼠标：可以完成在虚拟空间中6个自由度的操作，包括三个平移参数与三个旋转参数。常用于建筑设计等领域。力矩球：可以通过手的扭转、挤压、来回摇摆等实现相应的操作。62.1.1基于自然的交互设备三维扫描仪：是一种较为先进的三维模型输入设备，是当前使用的对实际物体三维建模的重要工具。能快速方便地将真实世界的立体彩色的物体信息转换为计算机能直接处理的数字信号，为实物数字化提供有效的手段。72.1.2三维定位跟踪设备三维定位跟踪设备：检测位置与方位，并将其数据报告给虚拟现实系统。在虚拟现实系统中最常见的应用是跟踪用户的头部位置与方位来确定用户的视点与视线方向，而视点位置与视线方向是确定虚拟世界场景显示的关键。虚拟现实系统中常需要检测头部与手的位置。要检测头与手在三维空间中的位置和方向，一般要跟踪6个不同的运动方向，即沿X、Y、Z坐标轴的平动和沿X、Y、Z轴方向的转动。由于这几个运动都是相互正交的，因此共有6个独立变量，即对应于描述三维对象的宽度、高度、深度、俯仰角、转动角和偏转角，称之为六自由度（DOF）。在虚拟现实系统中，显示设备或交互设备都必须配备跟踪定位设备。82.1.2三维定位跟踪设备空间跟踪设备通常有下列要求：数据采样率高且传输数据速度快，既要满足精确度的需要，同时又不能出现明显滞后。抗干扰性要强，也就是受环境影响要小。对被检测的物体必须是无干扰的，不能因为增加了跟踪设备影响用户的运动等。真实世界和虚拟世界之间相一致的整合能力。多个用户及多个跟踪设备可以在工作区域内自由移动，不会相互之间产生影响。92.2虚拟世界输出设备感知设备将虚拟世界中各种感知信号转变为人所能接受的多通道刺激信号。（1）视觉感知设备（2）听觉感知设备（3）触觉（力觉）感知设备102.2虚拟世界输出设备视觉感知设备：主要是向用户提供立体宽视野的场景显示，并且这种场景的变化会实时改变。听觉感知设备：提供虚拟世界中的三维真实感声音的输入及播放。一般由耳机和专用声音卡组成。通常用专用声音卡将单通道或普通立体声源信号处理成具有双耳效应的三维虚拟立体声音。112.2虚拟世界输出设备触觉（力觉）感知设备：力觉感知设备主要是要求能反馈力的大小和方向，而触觉感知应包含一般的接触感，进一步应包含感知物体的质感、纹理感及温度感等。目前能实现的仅仅是模拟一般的接触感。对触觉反馈和力觉反馈有一些要求：1.实时性要求2.有较好的安全性3.具有轻便和舒适的特点122.3虚拟世界生成设备计算机是虚拟世界的主要生成设备，首先创造出虚拟世界的场景，同时还必须实时响应用户各种方式的输入。计算机的性能在很大程度上决定了虚拟现实系统的性能优劣，由于虚拟世界本身的复杂性及实时性能的要求，产生虚拟环境所需的计算量极为巨大，这对计算机的配置提出了极高的要求，最主要是要求计算机必须的高速的CPU和强有力的图形处理能力。132.3虚拟世界生成设备虚拟世界生成设备的主要功能包括：视觉通道信号产生与显示：生成显示所需三维立体、高真实感复杂场景，并能根据视点的变化进行实时绘制。听觉通道信号生成与显示：支持三维真实感声音的生成与播放。所谓三维真实感声音是具有动态方位感、距离感和三维空间效应的声音。触觉与力觉通道信号生成与显示：142.3虚拟世界生成设备现有的虚拟现实系统主要考虑视觉通道，因此对虚拟现实生成设备提出了一下要求：（1）帧频和延迟时间的要求：VR要求高速的帧频和快速响应。帧频是指新场景更新旧场景的时间，当达到每秒20帧以上时就产生连续运动的幻觉。延迟时间是从用户的动作开始，经过三维空间跟踪器感知用户位置，把这个信号传送给计算机，计算机计算新的显示场景，把新的显示场景传送给视觉显示设备，直到视觉显示设备显示出新的场景为止。152.3虚拟世界生成设备（2）计算能力和场景复杂性如果一个显示的场景中有10000个三角形（或多边形），这个数量就反应了场景复杂性。如在每秒进行10次计算，就应该计算100000个三角形（或多边形），这表示了计算能力。若要求更加逼真的仿真效果，就要增加场景复杂性。这就要求更强的计算机能力，每秒计算更多的三角形（或多边形）。这就要考虑计算能力和场景复杂性的折衷。162.3虚拟世界生成设备虚拟世界生成设备主要分为：基于高性能个人计算机的VR系统基于高性能图形工作站的VR系统高度并行的计算机系统的VR系统基于分布式计算机的VR系统172.4绘制流水线绘制流水线：把绘制过程划分成几个阶段，并把它们指派给不同的硬件资源。图形绘制分为三个阶段：应用程序阶段、几何处理阶段和光栅化阶段用户输入CPU1CPUn…应用程序阶段应用程序阶段GE1GEn…几何处理阶段FIFO缓冲区RU1RUn…光栅化阶段FIFO缓冲区输出缓冲区视频控制器182.4绘制流水线应用程序阶段是用软件方法由CPU完成的，读取数据库和来自鼠标、跟踪球、跟踪器或传感手套等的用户输入。几何处理阶段可以通过软件和硬件两种渠道实现。该阶段包括模型变换（平移、旋转和缩放）、光照计算、场景投影、剪裁和映射等。光照子阶段根据场景中的模拟光源的类型和数目、光照模型、表面材质属性、大气效果计算表面颜色。光照计算的结果是场景具有明暗效果，看上去会更加真实。192.4绘制流水线光栅化阶段：为了提高速度，它是通过硬件实现的，把几何处理阶段输出的顶点信息（例如颜色和纹理）转换成视频显示器需要的像素信息。光栅化阶段的一个重要功能是执行反走样，以平滑多边形的边缘锯齿。202.4绘制流水线为了提高性能，绘制流水线的各个阶段使用并行体系结构。应用程序阶段可以在多个CPU上运行。几何处理阶段在一组几何处理引擎(geometryengines,GE)上运行，每个引擎处理一部分场景几何（一组图形对象或图元）。应用程序阶段的输出存储在一个FIFO缓冲区中，每个几何处理引擎在处理完自己的图元后，从这个缓冲区里读取新的图元。然后，把结构写入到光栅化阶段的FIFO缓冲区中。光栅化单元(rasterizerunits,RU)周期性地读取这个缓冲区，形成绘制流水线的第三个阶段。每个RU绘制分配给它的一片像素，把数据写入输出缓冲区，然后从FIFO缓冲区中读取新数据，依次类推。现代体系结构使用双缓冲区，即有一个前缓冲区和一个后缓冲区。前者存储已经显示的图像，与此同时一副新场景被写入后缓冲区。接着后缓冲区被显示，新图像被写入前缓冲区，如此周而复始。这样做是为了减少由于显示硬件刷新而引起的闪烁。212.4绘制流水线图形流水线瓶颈：图形流水线基于一种理想的假设，每一阶段的输出速度和下一阶段的输入速度都非常匹配，即两个FIFO缓冲区永远不会为空。事实上，三个阶段中最慢的那个阶段会处于100%的运行状态，从而限制了整个流水线的吞吐量。这一阶段成为瓶颈状态。222.4绘制流水线图形流水线优化：应用程序阶段优化：（1）用告诉CPU取代低速CPU，或者再增加一个CPU。（2）降低场景的复杂性。（3）优化仿真软件。几何处理阶段优化：（1）减少虚拟光源的数量。（2）使用绘制硬件有优化措施的多边形类型。光栅化阶段优化：（1）减少显示窗口尺寸（2）减少窗口分辨率232.5基于PC的图形体系结构PC机体系结构的通信瓶颈影响着实时图形绘制的性能。现代基于PC的VR系统，通过引入加速图形接口(AcceleratedGraphicsPort，AGP)总线来解决PCI带宽问题。AGP总线直接与主板的北桥芯片相连，且通过该接口让显示芯片与系统主内存直接相连，避免了窄带宽的PCI总线形成的系统瓶颈，增加3D图形数据传输速度，同时在显存不足的情况下还可以调用系统主内存。24用户通过一个头部三维跟踪器和操纵杆提供输入，通过HMD接收视频反馈，通过操纵杆接收触觉反馈，通过连接到三维声卡的耳机接收音频反馈。跟踪器连接到一个串行端口，操纵杆通过USB端口与系统通信。HMD连接到图形卡RGB输出端口，三维声卡直接插在PCI总线上。