人机交互技术第一章(序)虚拟现实的现状和发展VR61

下一代人机界面的展望——虚拟现实及其应用郭建林基于智能体的虚拟现实化多通道因特网界面1、因特网2、多通道3、虚拟现实化4、基于智能体下一代人机界面的展望1.以WIMP(窗口、图符、菜单、鼠标)为代表的图形用户界面还将继续使用，尤其是在办公室中广泛应用。下一代人机界面的展望2.最普遍的将是以因特网为中心的多种多样人机界面。我们不仅拥有现在以浏览器、搜索引擎为代表的桌面网络用户界面，而且还将有一批适应不同带宽（从高速视频点播,到低速移动电话）、不同尺寸（从手表／掌上电脑，到墙壁大小）的多种多样界面。因特网将进入我们的家庭和生活，界面也将嵌入在各种电器以至汽车导航中，普通百姓可通过语音、手写等易用、方便的界面，实现网上购物等日常用途。下一代人机界面的展望3.多通道、多媒体的自然、高效、智能化用户界面将快速发展和应用。以虚拟现实为代表的计算机系统的拟人化和以掌上电脑为代表的计算机的微型化和随身化，是当前计算机的两个重要的应用趋势。目前以鼠标和键盘为代表的图形用户界面技术是影响它们发展的瓶颈。利用人的多种感觉通道和动作通道（如语音、手写、表情、姿势、视线、笔等输入），以并行、非精确方式与计算机系统进行交互，可以提高人机交互的自然性和高效性。下一代人机界面的展望3.多通道、多媒体的自然、高效、智能化用户界面将快速发展和应用。以三维、沉浸感的逼真输出为标志的虚拟现实技术是多媒体、多通道界面的重要应用目标。目前，语音和手写输入在实用化方面已有很大进展。预计，随着模式识别、全息图象、自然语言理解和新的传感技术的发展，人机界面技术将进一步朝着计算机主动感受、理解人的意图方向发展。新的多通道、多媒体人机界面是重要发展趋势。下一代人机界面的展望4.无障碍的人机界面将进一步受到重视。如果强迫人类去适应计算机，坐在桌旁操作鼠标和键盘，肯定会限制计算机的应用。如果用白光全息技术代替立体显示器或立体眼镜，用摄像跟踪技术及自然语言理解技术来代替“手套”或“键盘”，那么人们会有更充分的活动自由，可以在现实环境中享受虚拟的乐趣！下一代人机界面的展望传统界面依然会有生机。因特网无处不在。各式各样的全新界面被嵌入到我们生活的各种设备中。以用户为中心、新的自然人机界面正将我们带离桌面，去探索更广阔的物理的、生活的、和数字的世界！新世纪将更加美好！1。什么是虚拟现实？关于术语VirtualReality（VR）(J.Lanier,1989)译为:虚拟现实、灵境、幻真...其他：VirtualEnvironmentArtificialReality(M.W.Krueger,1970s)Cyberspace(W.Gibson,1984)1。什么是虚拟现实？是一种可以创建和体验虚拟世界的计算机系统。而虚拟世界是全体虚拟环境或给定仿真对象的全体。虚拟环境是由计算机生成的，通过视、听、触觉等作用于用户，使之产生身临其境感觉的交互式视景仿真。用计算机技术来生成一个逼真的三维视觉、听觉、触觉或嗅觉等感觉世界，让用户可以从自己的视点出发，利用自然的技能和某些设备对这一生成的虚拟世界客体进行浏览和交互考察。1。什么是虚拟现实？1.逼真的感觉视觉，听觉，触觉，嗅觉等2.自然的交互运动，姿势，语言，身体跟踪等3.个人的视点用户的眼、耳、身所感到的感觉信息4.迅速的响应感觉信息根据视点变化和用户输入及时更新1。什么是虚拟现实？一项综合技术涉及计算机图形学、人机接口技术、图像处理与模式识别、多传感器技术、语音处理与音响技术、网络技术、并行处理技术、高性能计算机系统、人工智能技术…...核心：2M(MPP,MultiMedia),2O(OpenSystem,Object-oriented)需要计算机专家、人类工程学(Ergonomics)专家、心理学专家等共同开发研究。虚拟现实应有的特征（3I)•沉浸感（Immersion）:能给人们以真实世界的感觉，让人感觉全方位地沉浸在这个虚幻的世界中。•交互性（Interaction）:虚拟现实与通常CAD系统所产生的模型是不一样的，它不是一个静态的世界，而是可以对使用者的输入作出反应。虚拟现实环境可以通过控制与监视装置影响或被使用者影响。•想象（Imagination）:它的应用能解决在工程、医学、军事等方面的一些问题,这些应用是ＶＲ与设计者并行操作,为发挥它们的创造性而设计的,这极大地依赖于人类的想象力。分布式虚拟环境（DistributedVirtualEnvironment)利用计算机构造的一个真实世界的模拟，地理上分布的用户可以通过网络共享该环境，并与周围的环境以及在相互之间进行交互。共享虚拟环境涉及到虚拟现实、分布对象、网络、人机交互、智能代理等领域。其他同义词包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其实质是一种人机交互界面分布式虚拟环境的应用•军事训练SIMNET&DIS•教育与培训pedagogicalagentSteve;JackMOO•网络会议与远程协作Sony公司基于DIVE的一个系统•娱乐和虚拟社区Cybertown(使用Blaxxun）•电子商务VRcommerceofIBM分布式虚拟环境发展的原动力•因特网技术的广泛使用:Internet已经成为娱乐、商业等的重要媒体•硬件基础：网络带宽的提高（宽带网的逐渐普及），个人计算机图形处理能力的增强•软件基础：虚拟现实技术和网络技术的结合•日益复杂的数据使得原来的界面不能满足需要，人们希望更加直观的表达信息，使用更加自然的方式进行人机交互以及通过网络实现人与人之间实时、形象的交流著名分布式虚拟环境项目介绍•DIVE–由瑞典InstituteofComputerScience开发–运行在SGIRIX,PCNT4,PCLinux/Mesa,SunSolaris,HPHPUX上–核心代码使用C语言写成–提供API和TCLScript接口–1991年第一版本•SIMNET&DIS–美国DARPA(DefenseAdvancedResearchProjectsAgency)1983年开始的一项研究，交付官方使用于1990年，用于模拟组队作战环境–特点：对象-事件模型，自治模拟节点，预测算法–DIS网络软件架构的核心是协议数据单元（PDU）–没有中央服务器,可扩展性好•基于Web和VRML的分布式虚拟环境–BlaxxunInteractiveInc年成立，总部在德国慕尼黑–VirtualWorldsPlatform5.1多人服务器–BlaxxuncontactVRML客户端程序–blaxxun3DJava解释VRML–Vnet~jeffs/vnet/VRML+Java–DeepMatrix。历史回顾虚拟现实和其他技术一样，也是在前人大量工作的基础上发展起来的。1。立体电影，立体声技术2。飞行模拟器最早实际使用的仿真技术；3。“星际旅行”“宇宙飞船”的演示4。机械手、机器人危险场合进行各类“遥控操作”；5。游戏驾驶汽车、潜艇航行2。历史回顾重要事件HMDHead-MountedDisplay1968年Sutherland三维头盔显示器；Videoplace1985年Krueger正式发表无障碍的人工现实；VIEW项目VirtualEnvironmentWorkstation美国宇航局Ames研究中心的虚拟环境工作站；DataGloveVPL公司采用定位装置Polhemus的数据手套；VPL公司采用三维定位装置Polhemus的数据手套示意图三维定位装置Polhemus原理重要事件BOOMBinocularOmni-OrientedMonitor美国宇航局FakespaceLab的双筒全方位监视器；CAVEAudio-VisualExperienceAutomaticVirtualEnvironment1992年Cruz-Neira的墙式显示屏自动声象虚拟环境；VRMLVirtualRealityModelingLanguage因特网上1.0及2.0版本的虚拟现实建模语言CAVE墙式显示屏自动声象虚拟环境Audio-VisualExperienceAutomaticVirtualEnvironment3。应用应用和需求是技术发展的推动力1）军事美国国防部和军方认为：虚拟现实将在武器系统性能评价、武器操纵训练及指挥大规模军事演习三方面发挥重大作用。他们制定了战争综合演示厅计划、防务仿真交互网络计划、综合战役桥计划、及虚拟座舱、卫星塑造者等应用环境，并在核武器试验及许多局部战争中进行了应用，不仅节省了大量的军事费用，更重要的是提高了现代化作战指挥方面能力。3。应用2）航天航空美国宇航局是虚拟现实最早研究的单位和应用者。宇宙飞船及各类航空器是需耗费巨资的现代化工具，而进入宇宙有大量未知、危险的因素，因而模拟各种航空器可能遇到的环境，不仅可节省大量费用，而且是十分必要的。虚拟风洞就是一例。3。应用3）计算机辅助设计虚拟样机、虚拟建筑物工业产品均需要反复构思和设计，但用户往往仍不满意。可否在设计早期就给用户一个逼真的产品样机？美国波音公司Butler设计了一个称为VS-X的虚拟飞机，它可使设计人员有身临其境观察飞机外形、内部结构及布局的效果；建筑设计师可在盖楼前通过虚拟建筑物，让用户自己来观察外形和内部房间部位，也便于设计师修改设计。3。应用4）外科手术和人体器官的模拟外科医生的培训是一项投资大、时间长的工作，这是因为不能随便让实习医生在病人身上动手术。可是不亲自动手，又如何学会手术呢？虚拟手术台已能部分模仿外科医生的现场。同样，提供模拟的人体器官，可让学生逼真地观察器官内部的构造和病灶，具有极高的实验价值。3。应用5）科学研究和计算的可视化各种分子结构模型、大坝应力计算的结果、地震石油勘探数据处理等，均十分需要三维（甚至多维）图形可视化的显示和交互浏览，虚拟现实技术为科学研究探索微观形态等提供了形象直观的工具。3。应用6）远程控制虚拟现实可采用遥控手段，通过机械手、机器人对危险或有毒环境进行操作。3。应用7）教育、游戏与其他这是向人们、尤其是青少年提供生动的课堂和娱乐手段的好机遇，它具有三维声象效果、能进行交互操作的功能，因而已为商家们看好，纷纷开发低档虚拟现实产品。如虚拟博物馆，网上景点浏览。虚拟房间积木世界虚拟现实的适用特点1。需要高成本制造的设备，如航天器，军用设备。2。对人有危险的环境，如核试验、飞行训练。3。目前尚未出现的环境，如建筑物、天体物理4。关键技术(系统框图)1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器4。关键技术1.大规模数据的场景建模技术；2.动态实时的立体视觉、听觉等生成技术;3.三维定位、方向跟踪、触觉反馈等传感技术和设备；4.符合人类认知心理的三维自然交互技术;5.三维交互软件及系统集成技术4。关键技术影响（沉浸感）立体视觉因素宽视野（１８０Ｘ１５０）立体显示彩色高分辨率头部跟踪4。关键技术视觉设备红蓝滤色眼镜液晶开关的体视眼镜三维头盔显示器（HMD）双筒全方位监视器（BOOM）墙式显示屏自动声象虚拟环境（CAVE）类型：透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影4。关键技术双眼立体视图的生成三维场景上任一点P(x,y,z)，对于左右眼视点L、R，在投影平面z=0上的成象点Pl(xl,yl)、Pr(xr,yr)计算如下：xl=(x*k-z*d/2)/(k+z)xr=(x*k+z*d/2)/(k+z)yl=yr=y*k/(k+z)可推导得：xl=(x+d/2)/(1+z/k)-d/2xr=(x-d/2)/(1+z/k)+d/2可用硬件实现4。关键技术听觉：3D&Stereo声源定位：强度（高频）和时差（低频）问题：声音从头里发出，随强