研究生多媒体14_虚拟现实系统

第十四章虚拟现实系统1.什么是虚拟现实2.虚拟现实系统的组成3.全景视频系统第十四章虚拟现实系统1.什么是虚拟现实虚拟现实，VitualReality（VR）。于1989年被提出。它通常是指用立体眼镜和传感手套等一系列传感辅助设施来实现的一种三维现实，人们通过这些设施以自然的技能（如头的转动、身体的运动等）向计算机送入各种动作信息，并且通过视觉、听觉以及触觉设施使人们得到三维视觉、听觉及触觉等感觉世界。虚拟现实最重要的目标：真实的体验和方便自然的人机交互。能够达到或者部分达到这样目标的系统称为虚拟现实系统。1.1基本概念第十四章虚拟现实系统1.什么是虚拟现实与虚拟现实有关的内容已经扩大到与之相关的很多方面，虚拟现实的不同形式或术语：人工实现（ArtificialReality）遥在（Telepresence）虚拟环境（VirtualEnvironment）赛伯空间（Cyberspace）1.1基本概念第十四章虚拟现实系统1.什么是虚拟现实虚拟现实系统就是要利用各种先进的硬件技术及软件工具，设计出合理的硬件、软件及交互手段，使参与者能交互式地观察和操纵系统生成的虚拟世界。从概念上讲，任何一个虚拟现实系统都可以用三个“I”来描述其特性：沉浸（Immersion）交互（Interactive）想象（Imagination）1.2虚拟现实系统的特性第十四章虚拟现实系统1.什么是虚拟现实首先，要使参与者有“真实”的体验，这种体验就是沉浸或投入。理想情况下虚拟环境应该达到使用户难以辨别真假的程度。为了达到这个目标，就必须具有多感知的能力，理想的虚拟现实系统应该具有人类所具有的一切感知能力，包括视觉、听觉、触觉，甚至味觉和嗅觉。1.2虚拟现实系统的特性第十四章虚拟现实系统1.什么是虚拟现实第二，系统要能提供方便的、丰富的、主要是基于自然技能的人机交互手段。这些手段使得参与者能够对虚拟环境进行实时的操纵，能从虚拟环境中得到反馈的信息，也能使系统了解参与者关键部位的位置、状态、变形等各种需要系统知道的数据。同时，实时性是非常重要的，如果在交互时存在比较大的延迟，与人的心理经验不一致，就谈不上自然的交互，也很难获得沉浸感。为达到这个目标，高速计算和处理就必不可少。1.2虚拟现实系统的特性第十四章虚拟现实系统1.什么是虚拟现实第三，因为虚拟现实不仅仅是一种媒体或用户的高端接口，而且它还是针对某一特定领域、解决某些问题的应用。如何解决这些问题，不仅需要了解应用的需求，了解技术的能力，而且还需要有丰富的想象力。想象力已经称为虚拟现实系统设计中最关键的问题之一。1.2虚拟现实系统的特性第十四章虚拟现实系统1.什么是虚拟现实参与者在虚拟环境中的活动或经历有两种形式：主观参与（First-personactivities）:参与者是整个经历的中心，一切围绕参与者进行；客观参与（second-personactivitie）：参与者可以在虚拟环境中看到他自己与其他物体的交互。1.2虚拟现实系统的特性第十四章虚拟现实系统1.什么是虚拟现实显示：头盔三维显示等交互：数据手套等具有里程碑意义的工作：1.立体电影、立体声与传感影院：立体图像显示、嗅觉、振动等2.模拟器：如飞行系统仿真器1.3虚拟现实技术简史第十四章虚拟现实系统1.什么是虚拟现实3.无障碍虚拟现实环境VIDEOPLACE4.虚拟视觉环境显示器（VIVED：VirtualVisualEnvironmentDisplay）5.MIT的“白杨城影片地图（AspenMovieMap）”，一个模型在街道上行走的系统。这种用户导航的运行方式为后来的超媒体、虚拟空间交互等提供了丰富的经验。6.视觉增强系统1.3虚拟现实技术简史第十四章虚拟现实系统1.什么是虚拟现实（一）非沉浸类虚拟现实系统：（1）全景视频系统：利用连续拍摄的图像和视频在计算机中拼接建立实景化虚拟空间。（2）基于座舱的系统（3）桌面虚拟现实CAD系统：对虚拟世界进行建模，通过计算机的显示器进行观察，并能自由的控制观察的视点和视角（4）基于剧情的虚拟现实系统1.4虚拟现实系统的分类第十四章虚拟现实系统1.什么是虚拟现实（二）沉浸类虚拟现实系统：利用特殊的设备把参与者的视觉、听觉和其它感觉封闭起来，提供一个新的、虚拟的感觉空间，使得参与者产生一种身在身在虚拟环境中，并能够全身心投入和沉浸其中的感觉。（1）基于头盔的系统（2）投影虚拟现实系统：把参与者的动画图像和其他图像结合到一起，插入到虚拟环境中。（3）遥在系统：虚拟现实与计算机技术结合的系统，当在某处的操作员操作一个虚拟现实系统时，其结果却在另一个地方发生。1.4虚拟现实系统的分类第十四章虚拟现实系统1.什么是虚拟现实（三）分布式虚拟现实系统如果在上述两种系统的基础上能够使得多个用户连接到一起，并能够共享同一个虚拟空间，则成为分布式虚拟现实系统。（四）增强现实系统为了增强操作员对真实环境的感受。辅助数据与观察员所观察到的实际环境叠加到一起，以协助操作员进行操作或工作。这种叠加方式增强了原始的环境信息。1.4虚拟现实系统的分类第十四章虚拟现实系统1.什么是虚拟现实科学计算可视化计算机辅助设计飞行、骑车、外科手术等的操作模拟军事模拟与仿真教育与培训遥在系统心里实验娱乐艺术通信与协同工作1.5虚拟现实系统的应用第十四章虚拟现实系统2.虚拟现实系统的组成一、系统感知和行为模型人与外界的交互分为两大部分：感知与行为。感知系统：感知系统划分为：方向、听觉、触觉、味觉、嗅觉及视觉等六个子系统。在感知系统模型中，分别对这些子系统的行为方式、接收单元、器官模拟、器官形成、刺激元及外部信息。行为系统：姿势、方向、走动、饮食、动作、表达及语义七个子系统。2.1虚拟现实系统的体系结构第十四章虚拟现实系统2.虚拟现实系统的组成2.1虚拟现实系统的体系结构参与者感知系统行为系统身体状态传感器传感器效应器效应器调制模块现实环境技术调制虚拟世界虚拟环境系统第十四章虚拟现实系统2.虚拟现实系统的组成二、虚拟现实系统组成从总体上看，系统主要由人机接口设备、人机接口处理、现实产生器以及相应的管理、模型及分布子系统等构成。2.1虚拟现实系统的体系结构第十四章虚拟现实系统2.虚拟现实系统的组成2.1虚拟现实系统的体系结构虚拟世界数据库模拟管理后台处理分布处理用户应用虚拟现实发生器声音合成3D声音定位语音识别显示处理头部跟踪、定向手部跟踪运动反馈声音显示器麦克风桌面显示器座舱显示器头盔显示器头部跟踪器数据手套其他采集设备运动平台/装置人机交互处理人机接口设备第十四章虚拟现实系统2.虚拟现实系统的组成虚拟现实发生器，又称为虚拟现实引擎，是任何虚拟现实系统的核心，由它处理和产生虚拟环境。具有强大的处理能力、满足实时性要求等2.1虚拟现实系统的体系结构第十四章虚拟现实系统2.虚拟现实系统的组成大视场双眼体视显示技术跟踪装置触觉反馈声音子系统三维人机交互2.2人机交互的设备及技术第十四章虚拟现实系统2.虚拟现实系统的组成几何建模：描述虚拟对象的形状和外表；运动建模：主要是对象的位置移动和碰撞检测两个部分；物理建模：定义对象的质量、重量、惯性、表面纹理、硬度、形状改变模式等；对象行为建模：对象可以具有自己的行为特征，并不一定与用户的输入直接相关；模型分割：将虚拟环境分割成较小的单元；三维数据格式：三维建模的基础；2.3三维场景建模第十四章虚拟现实系统2.虚拟现实系统的组成1.VRML2.Cult3D3.全景2.4虚拟现实软件及开发工具第十四章虚拟现实系统3.全景视频系统全景视频（panoramicVideo）：假定在一室内空间中进行观察，室内空间分为六个表面，如果获取了这六个表面许多不同距离、不同方位的实景照片，并将这些照片按照相互的关系有机地连接起来，就可以在视觉上形成对这个房间的整个空间的整体认识，即全景。在观察时，可以改变角度、改变视点、改变距离。只要照片足够精细，连接的紧密正确，就可以获得空间感。3.1基本概念第十四章虚拟现实系统3.全景视频系统和其他形式的虚拟现实技术相比，全景视频的主要特点：（1）不局限于计算机生成的图像（2）不需要真正的视频，实际存储和组织的不是视频帧序列，而是不同层次的全景图。（3）全景视频可以将360度全景图无扭曲地映射到平面显示器上。（4）必须有计算机的协助3.1基本概念第十四章虚拟现实系统3.全景视频系统全景图的生成：全景图是利用多幅图像拼接生成的。静态图像：多幅图像将重叠的部分裁剪，做拼接，对拼接好的全景图利用柱面变形技术进行变形，使平面全景图像产生深度感觉。这样，就得到了一个视点、一个焦距和一种移动下的全景图。对所需要的其他视点和焦距下的图像按同样的方法处理。3.2全景视频的实现方法第十四章虚拟现实系统3.全景视频系统全景图的视点空间和移动从观察者的角度来看，假设观察者的位置不变，他可以观察的某一时刻的空间是一个球面。如果焦距f不变，则球半径为f。底部和顶部不常用，可以简化为“柱面”。移动：分为焦距改变的移动和焦距不变的移动3.2全景视频的实现方法第十四章虚拟现实系统3.全景视频系统全景图的信息组织1.空间上下文：必须建立局部图像的相邻关系2.视点的选取原则和空间组织：信息完整：分布在不同地点的视点在信息上即要相互独立又要互补；空间间隔分布均匀；视点分布合理；3.2全景视频的实现方法第十四章虚拟现实系统小结什么是虚拟现实系统虚拟现实系统的基本组成