虚拟现实技术-教学课件

虚拟现实技术课程的主要内容虚拟现实与系统仿真的基本概念和术语虚拟现实与系统仿真的基础方法虚拟现实有关的人的因素，虚拟现实的接口设备和计算机设备虚拟现实的建模技术虚拟现实的应用相关知识背景虚拟现实技术学习的知识背景是什么样的？虚拟现实技术是针对计算机专业的本科生开设的课程，学生需要有计算机原理，体系结构，操作系统，网络，软件工程，程序设计，数据结构，电子学，图形学与，系统分析，人工智能的知识背景。1.虚拟现实概述2.虚拟现实的接口设备3.虚拟现实的计算机技术4.虚拟现实的建模和仿真技术5.虚拟现实的应用课程目录学习重点和难点虚拟现实的基本概念；人的视觉系统和虚拟现实的视觉显示技术；各类位姿跟踪系统的技术；力觉和触觉反馈技术；虚拟现实的计算机系统；虚拟现实的工具软件系统；分布式虚拟现实系统。第一章虚拟现实概述◇课前索引◇第一节虚拟现实的基本概念◇第二节虚拟现实有关的人的因素◇章节小结◇课后习题课前索引两个问题．什么是虚拟现实？．虚拟现实与人有什么关系？点击观看演示第一节虚拟现实的基本概念1.虚拟现实的概念2.有关的其它概念3.虚拟现实的特点4.虚拟现实的应用领域5.虚拟现实的技术虚拟现实虚拟现实这个概念最早是由谁在什么时间提出的？年，美国公司创始人提出了“”（虚拟现实）的概念。如何理解“虚拟”这个词？“”说明，这个世界或环境是虚拟的，不是真实的。这个世界或环境是人工构造的，是存在于计算机内部的。用户应该能够“进入”这个虚拟的环境中。所谓“进入”这个虚拟的环境中，是指用户以自然的方式与这个环境交互如何理解“交互”这个词？包括感知环境并干预环境，从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其境的感觉。虚拟现实或虚拟环境系统包括哪些？包括人类操作者、人机接口和计算机问题请给出正确与错误的判别使用虚拟现实系统的标志就是使用头盔式立体显示器和数据手套。虚拟现实系统应用最多的专用设备是头盔式立体显示器和数据手套。于是，有人以使用这些专用设备为虚拟现实系统的标志。这种观点是不准确的。头盔式立体显示器和数据手套等设备，只是当前已经实现的一部分虚拟显示设备。它们还很不完善。例如，头盔的视场，分辨率，造成眩晕等问题还有待解决。听觉接口和力觉接口等设备还在研究，应用还不多。味觉，嗅觉，运动觉等技术，还缺乏研究。关于虚拟仿真虚拟现实系统中的虚拟环境，可能有下列几种情况第一种情况是模仿真实世界中的环境。例如，建筑物，武器系统，或战场环境。这种真实环境，可能是已经存在的，也可能是已经设计好但还没有建成的。为了逼真地模仿真实世界中的环境，要求逼真地建立几何模型和物理模型。环境的动态应符合物理规律。这一类虚拟现实系统的功能，实际是系统仿真。点击观看居室环境的仿真和漫游例子和虚拟现实有关的几个概念虚拟环境()系统或虚拟现实()系统包括人类操作者、人机接口和计算机遥操作()系统包括人类操作者、人机接口和遥机器人增强现实()系统组合了虚拟环境和真实环境合成环境()系统是遥操作系统、虚拟环境系统、增强现实系统等的总称。关于虚拟现实系统对于虚拟现实系统，与用户交互的环境实际是人工构造的，存在于计算机内部的环境。这种虚拟的环境，可能是不同的环境。一种情况是真实环境的仿真。例如，仿真真实建筑物的虚拟建筑物。这种真实建筑物可能是已经建成的，也可能是已经设计好但尚未建成的。一种情况是完全虚拟的人造环境。例如在虚拟风洞中，借助可视化技术构造的虚拟风洞环境。又如在三维动画中，人工构造的虚拟环境。关于遥操作系统为什么要针对虚拟现实系统提出这么多概念？概念之间的区别？这些概念之间的区别在于与用户交互的环境不同。虚拟现实系统的环境是怎样的？真实环境的仿真完全虚拟的人造环境遥操作系统的环境是怎样的？对于遥操作系统，与用户交互的环境实际是在远地的一个真实的环境。用户通过类似虚拟现实系统的人机接口，与远处的真实环境交互。也就是看到真实环境的场景，听到真实环境的声音，感到与环境中物体的接触。遥操作系统实际上是高级的遥控系统，是采用了先进的虚拟现实技术的遥控系统。虚拟现实的特点基于虚拟现实的基本概念，可以得到虚拟现实的下列三个特点。．人机接口的内容计算机提供“环境”,不是“数据,信息”。这改变了人机接口的内容。．人机接口的形式操作者由视觉,听觉,力觉感知环境,由自然的动作操作环境,不是由屏幕,键盘,鼠标和计算机交互。这改变了人机接口的形式。．人机接口的效果逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果。人机接口内容的改变计算机提供“环境”,不是“数据,信息”。这改变了人机接口的内容。虚拟现实的这个特点体现了计算机应用的新方向。计算机的名称体现了它的最早应用是计算。当时，计算机和用户交互的是计算有关的数值。此后，计算机扩大到处理数值，字符串，文本等各类数据。以后，计算机更扩大到处理图像，图形，声音，语言等多种媒体的信息。虚拟现实系统则以环境为计算机处理的对象和人机交互的内容。这开拓了计算机应用的新思路。数值各类数据多媒体信息环境人机接口的内容的变化：人机接口的形式的改变操作者由视觉,听觉,力觉感知环境,由自然的动作操作环境,不是由屏幕,键盘,鼠标和计算机交互。这改变了人机接口的形式这个特点体现了计算机人机接口的新方向。至今为止的计算机人机接口都是面向机器的。人机接口有哪些？终端，键盘，鼠标，打印机等接口设备，都是适应计算机的专用设备。这些设备很好地完成了各类数据和多媒体信息的交互。虚拟现实中的人机接口，则是面向用户的。虚拟现实系统中，用户以自然的方式与虚拟环境交互。如何理解自然的方式呢？所谓自然的方式，是指用户通过视觉，听觉，触觉等感觉虚拟环境，使用户产生在真实环境中的幻觉。同时，用户通过在真实环境中的行为，去干预虚拟环境。于是，虚拟现实的人机接口设备，完全不同于现有计算机的人机接口设备。这也是虚拟现实技术中最有特色的内容。人机接口的效果的改变逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果这个特点体现了计算机人机接口的新要求。用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。虚拟现实的概念中有三个：（）(沉浸)，是指逼真的，身临其境的感觉。（）(交互)，是指用户感知与操作环境（）(想象)，是指创造性。虚拟现实的应用领域．娱乐．国防．设计、制造和销售．医疗和健康．危险操作．训练．教育．信息可视化．远程交往与远程游历虚拟现实的技术．的人机接口．的计算机系统．的建模和仿真的人机接口的人机接口的作用是什么？其一是给人类操作者提供环境信息通过什么方式提供环境信息？视觉、听觉和触觉包括：视觉通道、听觉通道、触觉通道、运动接口和其他接口其二是感觉人类操作者的动作和响应包括：位置跟踪和映射，语音识别等。（）位置跟踪和映射位置跟踪和映射用于测量人体各部位的位置和姿态分析判断人面部的表情它的目的是：了解人的身体行为这是为了实现人机交互所必需的系统功能。系统由此了解人的行为，然后做出适当的响应，实现交互。常用的技术包括：机械链接、磁传感器、声传感器、光传感器和惯性传感器基本目标是精确完成位置和姿态的测量。三个主要的要求：大范围的线性响应，高带宽（），以及允许头和身体的运动。（）视觉通道视觉通道的作用：给人的视觉系统提供图形显示。为了提供身临其境的逼真感觉视觉通道应该满足的要求：显示的像素应该足够小，使人不至于感觉到像素的不连续显示的频率应该足够高，使人不至于感觉到画面的不连续给两眼提供具有双目视差的图形，形成立体视觉。应该具有足够大的视场，理想情况是显示画面充满整个视场。视觉通道的显示表面分为：基于和基于。视觉通道的光学系统分为：头盔显示()和非头盔显示()专用头盔图（）听觉通道听觉通道的作用：给人的听觉系统提供声音显示。为了提供身临其境的逼真感觉，听觉通道应该满足一些要求使人感觉置身于立体的声场之中能识别声音的类型和强度能判定声源的位置。听觉通道的关键技术包括：合成由接口提供的虚拟声音信号声音在虚拟空间定位问题发声设备。（）触觉通道触觉通道的作用给人体表面提供触觉和力觉。当人体在虚拟空间中运动时，如果接触到虚拟物体，虚拟显示系统应该给人提供这种触觉和力觉。触觉通道涉及操作以及感觉包括触觉反馈力觉反馈。触觉通道的结构分为：安装在身体上的设备安装在地面的设备。（）运动接口人体在环境中的运动包括：身体的被动运动如在车上的运动身体主动运动漫游，如散步。人在运动中，人体内部的运动感觉器官可以感知运动信息。感知运动信息的器官包含：前庭系统运动系统视觉听觉系统本体感受，动觉和触觉运动接口应该给这些器官提供运动信息。（）其它类型接口其它类型接口包括：嗅觉、味觉通道感觉热、风及湿度的接口还包括语音通讯（语音识别与合成）以及直接心理感觉和控制。这些接口，目前还缺乏研究．的计算机系统现有的虚拟现实系统，主要的通道是什么？现有的虚拟显示系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。的计算机系统主要考虑的通道是什么？所以，的计算机系统主要考虑视觉通道的要求。的计算机系统的视觉通道（）视觉通道对计算机系统硬件的要求首先是要求维持足够的图形帧速率这要求在指定的时间内（约为秒）计算出两眼的两幅图像。同时要求提供足够好质量的图像这一般体现在图像中显示的多边形或三角形的树木。因此，往往需要专用硬件。图形硬件应提供快速几何变换、截取、消隐、多边形填充和表面纹理。（）视觉通道对计算机系统软件的要求系统中的软件主要包括下列几种：交互软件：利用人机控制设备的输出去修改。视觉漫游软件：控制用户在中运动时看到的场景。建模软件：定义虚拟物体形状、外观和属性的模型。操作系统支持的实时多模态要求。（）视觉通道对计算机系统网络的要求分布式交互仿真分布式交互仿真已经成为现代仿真技术，特别是军事仿真的潮流。通讯网络可以把转换成共享的分布式计算环境。．的建模和仿真（）的建模包括：几何建模和物理建模的几何建模一般的工具软件都具有几何建模功能。利用现有的建模工具也是常用的方法。市场上已有商业模型库出售。对实际物体的建模，则采用激光扫描等专用设备。的物理建模物理建模是基于物理方程的建模。一般考虑刚体建模，链接物体的建模，以及非刚体的建模。智能体建模不是基于物理方程，而是基于人为的物体智能思考题什么是刚体？什么是智能体？．的建模和仿真（）仿真仿真包括：图形绘制和三维动画。图形绘制是把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程。图形绘制要求为了提供连续运动的错觉，帧速率必须大于每秒到帧。为了保持瞬间交互控制的错觉，响应时间的延迟必须小于秒。为了绘制人眼可分辨的所有细节，这要求有千万个多边形。然而，用今天的硬件，每个画面千万多边形的系统对真正的实时交互是太慢了，于是存在真实图像与实时交互间的折衷。某些应用（如建筑和艺术）可能要求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。（）仿真仿真包括：图形绘制和三维动画。三维动画可以用两种途径实现:：基于物理模型的数值计算。属于满足物理规律的仿真技术，用于军事和工业等方面。：数学插值。这种技术在三维动画电影中获得了巨大的成功。虚拟现实开发系统的方块图用户通过输入输出设备与输入输出软件交互。输入软件通过形状编辑器完成几何建模，通过声音编辑器完成虚拟声音系统建模。然后，在世界编辑器完成虚拟环境的建模。其中的虚拟剪切器，用于模型的剪切。建立的模型，保存在虚拟世界中。整个工作在计算机系统中完成第二节虚拟现实有关的人的因素为什么要讨论人的因素？计算机，接口和用户是系统中的三个组成部分。接口设计必须考虑人的因素，人的因素与系统性能直接相关。虚拟现实中有关的人的因素具体有哪些方面？人眼人耳身体感觉虚拟现实有关的人的因素人眼．视觉生理结构．立体视觉．屈光度．瞳孔．分辨力．明暗适应．周围视觉和中央视觉．视觉暂留．视场．视觉生理结构大脑皮层（）是大脑半球的最外层，它负责各种形式的感觉。视网膜（）是在每只眼背部的神经细胞的多层膜，它把光转成电信号，并通过视神经和管道传给大脑。下图表示，视网膜的解剖图。图中显示了层，管道和神经。光感受器（）是