第7讲虚拟现实交互89

第七讲虚拟现实交互27.1虚拟环境交互技术的构成3内容纲要1、虚拟环境技术的含义2、虚拟环境技术的发展概况3、虚拟环境系统的概念模型4、虚拟环境系统的体系结构5、虚拟环境技术的主要研究方向6、虚拟环境技术的主要应用领域7、几个典型的虚拟环境系统41、虚拟环境技术的含义虚拟环境技术是一种最有效地模拟人在自然环境中视、听、动等行为的高级人机交互技术。这种模拟具有两种基本特征，即“临境感”(immersion)和“交互性”(interactivity)。虚拟环境系统能很好地将环境的计算机表示与人类进化了数千年的三维空间处理能力相匹配，因而将从根本上改变人与计算机系统的交互操作方式。虚拟环境包括视觉环境，听觉环境和触觉环境三部分。52、虚拟环境技术的发展概况三个发展阶段：1.虚拟环境技术的探索阶段(从本世纪50年代到70年代)Ê1956年,美国的MortonHeileg开发了一个被称为Sensorama的摩托车仿真器。ÊIvanSutherland于1968年组织开发出第一个计算机图形驱动的头盔显示器(HMD)，并且开发了与HMD相配的头部位置跟踪系统。62.虚拟环境技术的集成阶段(从80年代初到80年代中期)这个时期开始形成虚拟环境的基本概念，并出现了人工现实（ArtificialReality）、虚拟现实（VirtualReality）、虚拟环境（VirtualEnvironment）及电脑空间（Cyberspace）等对虚拟环境技术的不同称呼，其中以VirtualReality一词影响最广,而VirtualEnvironment一词则得到了学术界的广泛采用。这个时期的工作以VIDEOPLACE系统及VIEW系统为代表。3.虚拟环境技术全面发展阶段(从80年代后期开始)Ê软件支持环境Ê硬件体系结构2、虚拟环境技术的发展概况（继续）73、虚拟环境系统的概念模型虚拟环境技术主要包括环境创建和环境经历两部分，创建的环境大多是现实环境中不易经历的。虚拟环境技术的主要目标就是通过建立环境与参与者之间的关系，使参与者置身其中，并产生身临其境的感觉。图1说明了什么是虚拟环境，其系统是如何实现的，以及环境与参与者之间相互作用的效果。83、虚拟环境系统的概念模型（继续）方法基于计算机的人类感知及行为系统使参与者置身于不易经历的虚拟环境创建真实感强的虚拟环境体验虚拟环境执行各种操作经历效果操作效果概念目标图1:虚拟环境技术的主要目标93、虚拟环境系统的概念模型（继续）工程规范要求对虚拟环境系统进行精确一致的定义。然而，尽管做了大量工作，到目前为止人类感知系统仍未能找到精确一致的定义，因此只能对感知系统进行定性分析。这里我们采用表1及表2所示的人类感知及行为系统作为虚拟环境系统概念模型的基础。这种感知及行为系统是由J.J.Gibson提出的。103、虚拟环境系统的概念模型（继续）系统活动形式感受单元器官模拟器官行为剌激物外部信息方向感姿势及方向调整机械及重力感受器前庭器官身体平衡重力及加速度重力或加速度方向听觉听机械感受器耳蜗器官声音定位空气振动振动方向及性质触觉触摸机械、热量及动觉感受器皮肤、关节、肌肉及腱各种探查活动组织变形、关节配合及肌肉纤维紧张物体表面粘性及冷热等各种状态味觉尝化学及机械感受器嘴品尝物体化学性质营养及生化价值嗅觉嗅化学感受器鼻以鼻吸气气体化学性质气味性质视觉看光学感受器眼睛凝视、扫描等活动光大小、形状、纹理及运动等表一：感知系统113、虚拟环境系统的概念模型（继续）系统目的应用相关系统调整姿势适应重力及加速度维持身体平衡前庭器官定向通过部分身体运动获得外部剌激考察或感觉各种信息所有相关感觉走动通过身体运动进入其它环境从一个位置走到另一个位置定向及调整姿势饮食通过部分身体运动获取或给予吸收或排除品尝、吸收及其它身体功能行动有利于个人的行为操作、自我保护等走动及相关行为表达用于表达、表明或识别姿势、面部或语言表达语言表达、聆听及面部表情语义用信号通知或表达语言表达基于信号的相关系统表二：行为系统123、虚拟环境系统的概念模型（继续）行为感知参与者行为系统感知系统外界环境技术角度人类角度概念模型分别从人类角度及技术角度考查了虚拟环境系统，如图所示。当系统参与者提供剌激或检测参与者行为时将遇到各种物理及心理学问题。从人类角度考察时，主要集中于解决这些问题。从技术角度考察时，主要关注环境的物理空间、功能、过程、设备及相关概念等内容。从概念模型的角度看，虚拟环境包括人工环境及真实环境两部分。133、虚拟环境系统的概念模型（继续）环境效应器参与者认知／心理个人经历人类工程学感觉灵敏度感知系统感知感受器行为系统物理反馈行动情感反馈虚拟环境系统传感器143、虚拟环境系统的概念模型（继续）参与者行为系感知系身体状技术调制效应器传感器传感器效应器调制模型现实环境虚拟环境系统154、虚拟环境系统的体系结构如图2所示，虚拟环境系统主要包括虚拟环境产生器、声音合成器、3D声音定域器、语音识别器、头／眼／手跟踪装置、触觉／动觉系统和头盔式显示器等。声音合成器声音定域器语音识别器电子显示装置头／眼／手跟踪装置虚拟环境产生器头盔式显示器外部世界命令图形图象头位置眼位置手位置触觉／动觉系统161.虚拟环境产生器虚拟环境产生器实质上是一个包括虚拟世界数据库的高性能计算机系统。该数据库包含了虚拟环境中对象的描述以及对象的运动，行为及碰撞作用等性质的描述。虚拟环境产生器的另一作用是产生图象。这些图象的生成必须在最短的时间延迟内考虑参与者头部的位置和方向。虚拟环境产生器内的任何通讯延迟都必将表现为视觉的滞后。如果这种滞后是可以感知的，那么在某些条件下就会使参与者产生眩晕的感觉。这表明虚拟环境系统的外围设备并非简单地组合在一起，而是要仔细地分析外围设备与系统的吞吐延迟以便使系统的视觉滞后达到可接受的范围。4、虚拟环境系统的体系结构（继续）174、虚拟环境系统的体系结构（继续）2.声音合成器人类非常善于并行处理多个事件。例如，当视觉系统处理某一事件时，听觉系统同时在后台工作。听觉系统以比视觉系统低得多的频带宽度工作。然而，人类听觉系统却很善于在众多的声音中挑取特定的声音。因此，在虚拟环境系统中加入声音合成装置是十分有效的。184、虚拟环境系统的体系结构（继续）3.3D声音定域器声音定域系统采集自然或合成声音信号并使用特殊处理技术在360度球体中“空间化”这些信号。例如，我们可以产生诸如时钟“嘀答”的声音并将其放置在虚拟环境中的准确位置。参与者既使在头部运动时，也能感觉到这种声音保持在原处不变。为了达到这种效果，声音定域系统必须考虑参与者两个“耳廓”的高频滤波特性。参与者头部的方向对于正确地“空间化”声音信号起到重要作用。因此，虚拟环境产生器要为声音定域装置提供头部的位置和方向信号。194、虚拟环境系统的体系结构（继续）4.语音识别器虚拟环境系统中的语音识别装置用于合并参与者的其他感觉通道（听觉通道、视觉通道等）。语音识别在诸如大量数据输入这种脑力负担很轻的场合是十分有效的。人类在工作负担很重时将暂时关闭听觉通道。因此，这种情况下，将明显影响语音识别技术的使用。5.头／眼／手跟踪装置为了与虚拟环境交互操作，必须感知参与者的视线。也就是说，必须跟踪头部的位置和方向。为了在虚拟环境中移动物体或甚至移动参与者的身体，这就要求跟踪观察者各肢体的位置。这种跟踪可以从手的位置跟踪乃至对全身各肢体位置的跟踪。204、虚拟环境系统的体系结构（继续）6.触觉／动感系统为了增强虚拟环境中身临其境的感觉，必须给参与者提供一些诸如触觉反馈等的生理反馈。触觉反馈是指虚拟环境系统必须提供所能接触到的物体的触觉刺激，如表面纹理或甚至包括触摸一个开关的感觉等。当我们感觉到物体的表面纹理时，我们同时也感觉到了运动阻力。因此，毫无疑问，虚拟环境系统中的触觉／动感反馈是很难实现的。一旦实现，将极大地增强参与者对虚拟存在的感受。214、虚拟环境系统的体系结构（继续）7.头盔式显示器头盔式显示器提供一种观察虚拟环境的手段。通常，它必须支持两个显示源及一组光学器件。这组光学器件将图象以预先确定的距离投影到参与者面前，并将图形放大以加宽视域。然而，由于重量方面的考虑，显示源的大小要受到限制。人的视觉系统对于左右两眼图象的调准误差是十分敏感的，这就要求不论显示源和光学器件如何组装，都必须消除调准误差。头盔式显示器还用于安装头部跟踪传感器以便头的方向信息用于视觉图象的产生。虚拟环境听觉系统也将安装在这种头盔上。225、虚拟环境技术的主要研究方向分为六个研究领域（一）、感知研究领域１、在视觉方面（1）虚拟环境行为方法学的研究及应用需求分析；（2）科学与技术协同作用的示范应用及理论问题的确定；（3）视觉图象质量的改善。235、虚拟环境技术的主要研究方向（继续）２、在听觉方面（1）空间声学Ê理论研究应强调不同人之间与头相关的传输功能(HRTF)的差异，距离等关键剌激，头部运动，以及对虚拟听觉源精确感知的传感交互性和适应性。Ê基础和应用相结合的研究领域是研究用感觉可行的方法来简化合成技术，最大限度地提高复杂空间建模算法的效率。Ê支持尽可能真实的听觉环境模拟的研究。（2）非语音听觉Ê理论研究应集中在低级传感器和听觉器官的高级认知因子，并特别强调交互修改听觉参数来识别、分离和定位多个同时发声的声源的研究。Ê技术开发应集中在硬件和软件系统，特别是听觉信息显示的实时生成与控制。245、虚拟环境技术的主要研究方向（继续）３、在触觉方面Ê开发各种用于人类触觉系统基础科学研究或虚拟环境触觉设备的计算机控制的机械装置；Ê研究生物机械和心物学的相关性；Ê鼓励能够制造高精度机器人装置的工程师和能够指导生物机械和感知实验的科学家协同工作。Ê视觉、听觉和触觉研究人员与研制传感和机动设备同步处理软件的计算机研究人员的协同工作。255、虚拟环境技术的主要研究方向（继续）（二）、人机软件界面１、独立于应用的交互技术和方法的研究。研究工作应集中在寻求新的虚拟环境方法并开发可重用的独立于应用的软件界面组件。很有潜力的一种手段是用语音输入作为并行输入方式。２、建立软件技术交换机构以支持代码共享、重用和软件投资。鼓励开发通用的软件维护工具，以便能够进行版本控制，集成不同人员开发的工具，简化定制和配置手续。265、虚拟环境技术的主要研究方向（继续）（三）、支撑软件１、支持开发满足虚拟环境建模要求的新一代造型工具；２、开发同时支持现有和新的模型的软件工具；３、支持在虚拟环境内建模的软件工具的开发；４、虚拟环境语言模型的研究；５、限时计算与绘制的软件工具的开发；６、多用户虚拟环境的支撑软件的研制；275、虚拟环境技术的主要研究方向（继续）（四）、硬件１、跟踪系统（1）由于微加速计和回转仪的发展，惯性跟踪系统是最基本的研究方向。（2）外部空间中大工作体的跟踪技术。2、触觉系统（1）支持对人类触觉的基本生物机械学和心物学的研究。（2）支持开发交互力反应设备，以及相关区域内的力分配设备。285、虚拟环境技术的主要研究方向（继续）3、视觉显示设备（1）支持飞行模拟计划以便视觉显示设备在分辨率、亮度和显示速度等方面都有数量级的改进。（2）探索能够降低延时并特征化诸如时序颜色的显示现象的显示技术。4、听觉系统资助改进感知模型和适应于环境声音的听觉模型技术，而不是昂贵的硬件开发。5、语音输入支持适当的将语音输入作为用户界面的研究项目。295、虚拟环境技术的主要研究方向（继续）　　（五）、运动病虚拟环境中的运动病可导致参与者出现恶心和呕吐，严重时还会出现头痛、头晕、眼胀、昏睡和疲劳等症状，因此，必须加强对运动病的研究。　　（六）、人的因素１、确定有效使用三维输入输出的方法；２、在用户界面中有效地集成声音和语音；３、虚拟环境的认知研究。306、虚拟环境技术的主要应用领域1、科学可视化科学可视化技术被公认是理解大量科学实验数据的有效手段。虚拟环境技术与可视化系统的结合大大提高了科研质量。与视点等自然控制相结合的立体成像使得用户将精力集中于实验数据而非计算机界面。与其它感知方式（如