从增强现实到混合现实介绍24

从增强现实到混合现实介绍摘要:自20世纪中叶以来，信息科技出现了一种令人瞩目的趋势，即由虚拟现实、增强现实到混合现实的发展。虚拟现实立足于“妙造自然”，将用户引导到具备交互性、沉浸性与想象性的虚拟世界；增强现实把改进物理世界的呈现当成重点，力求用户通过引进数据层加深对现实的理解；混合现实则试图将现实世界与虚拟世界统一起来，让人们把握多样现实并存、交叠、互动的时代特征。这三种信息科技都对新媒体艺术产生了巨大影响，并且被运用于数字娱乐产业，蕴育着巨大的商机，也都是理论创新的切入点。关键词：艺术信息科技新媒体作者简介：黄鸣奋（1952－），男，福建南安人，厦门大学人文学院中文系教授，博导，研究方向为古典文论、文艺心理学、数码文化。在人类历史上，曾经有过幻想和现实不分的原始时代。由于生产力有所发展、思维能力渐趋发达，加上文字发明并付诸应用的等原因，人类迈进了文明时代的门槛，能够将幻想和现实区分开来，基于幻想的艺术与基于现实的科技相应产生分化。在一定意义上可以说：艺术起源于模仿，科技起源于模拟。模仿重视再现现实原型的形象特征（“妙造自然”），模拟则重视现实过程的功能特征。当然，艺术和科技所起的作用不只是模仿和模拟。艺术不仅模仿现实，而且通过幻想超越现实、批判现实；科技不仅模拟现实，而且引导人们通过实践改造现实。艺术和科技不仅独立发展，而且彼此渗透，以此为基础，产生了科幻作品和虚拟现实。科幻作品起步19世纪，是艺术想象的产物，同时又包含了对科学原理的某种理解及对科学发展的某种预测；虚拟现实是科技发明的产物，同时又包含了对艺术想象的某种支持及对艺术活动的某种引导。如今，科技的发展已经出现了从虚拟现实、增强现实走向混合现实的趋势，艺术的发展也产生了由科幻作品、主题公园走向数字娱乐的倾向。二者在一定意义上彼此支持、交互为用。一、虚拟现实及其艺术应用人们对虚拟现实的本质持不同观点。根据海姆的概括，先驱者向我们展示了至少7种不同的概念，即模拟性、交互作用、人工性、沉浸性、遥在、全身沉浸、网络通信。[1]海姆本人认为：虚拟现实是一种基于可计算信息的沉浸性、交互性系统。这些被定义的特性浓缩为虚拟现实的“3I”：沉浸、交互性、信息强度。[2]目前最有影响的概括出自比迪亚（G.Burdea）和夸费特（P.Coiffet）《虚拟现实技术》（1994）一书。它同样可以缩写为3I，但所代表的是沉浸性（Immersion）、交互性（Interaction）和想象性（Imagination）。[3]虚拟现实是允许用户与计算机仿真互动的技术，可分为强制性与非强制性两类。前者使用拉尼尔（JaronLanier）等人率先开发的数据手套（1983）操纵计算机仿真的三维空间内的物体，通过头盔显示器以观察虚拟现实景象。后者以克鲁格（MyronKrueger）所建立的“人工现实”（artificialreality）系统为早期代表，将参与者的半身像显示在投影电视屏幕上，由计算机不断分析参与者的动作并随时响应。前者给用户处身在虚拟环境中的直接体验，后者则让用户看到自己的动作在屏幕上的投影。目前多数虚拟现实环境主要是视觉体验，在计算机屏幕上显示，或通过专门的立体装置显示出来，但某些仿真包括附加的传感信息，如通过音箱或耳机传来的声音信息等。某些高级的系统包括触觉信息，即力量反馈。虚拟现实的用途主要有两种：一种着眼于军事、医疗、教育等方面的价值，具备实用性。另一种着眼于艺术创造，追求令人消魂荡魄的彼岸世界。与新媒体艺术有关主要是后者。克鲁格对艺术感兴趣，和一个文艺家小组联手进行开发（1969）。他认为“虚拟现实”一词包含了某种悖论而不愿加以使用，宁可使用“人工现实”一词。他以之为题出版专著介绍自己所开发的系统。在该书1991年修订版的前言中，克鲁格写道：“人工现实从身体与仿真世界的关系感知人的行动。然后它生成视域、音响和使参与这一世界的幻象变得可信的其他感觉。”[4]美国艺术家伊姆1977年就在美国航空航天局的喷气推进实验室创作出可航行的虚拟世界。1987年以来，雷尼（MarkReaney）也在堪萨斯大学进行了将计算机技术应用于戏剧的实验。[5]艺术家杰弗里·肖1989年推出了《可读之城》（TheLegibleCity），让观众骑上一辆底座固定的自行车，通过装有传感器的踏板驱动三维动画绘图系统，获得游览曼哈顿的效果。加拿大艺术家戴维斯（CharDavies）利用头盔和动作跟踪背心创造了沉浸性的虚拟现实作品《渗透》（Osmose，1995）。在法国波尔多一大（UniversitéBordeaux1），阿谢（MartinHachet）让戏剧小丑运用虚拟现实进行实验性表演，上映了小丑与观众到一个城市旅行、探索神秘星球的场景。为此，阿谢等人找到了生成虚拟环境并与之互动的软件与硬件解决办法。[6]人们将虚拟现实用于文化遗产保护。这种技术使人们得以极端准确地重建包括洞穴、城市、纪念碑等在内的各种历史景观（即使它们已经不复存在），并通过不同媒体对这些重建物加以传播。早在1994年，大英博物馆就出现了由计算机控制的激光系统组成的《达德利城堡》（DudleyCastle），设计者是英国工程师约翰逊（ColinJohnson）。它对英国1550年的达德利城堡加以仿真，让访客可以像在真实环境那样步行于其间。类似的项目还有西班牙北部Santimamiñe洞穴复制项目等。具体做法是通过三维激光扫描及照相测量法来收集特定地区数据，对这些数据进行处理并生成虚拟模型，开发相关系统，再加以安装。媒体艺术家桑丁、工程师德凡蒂等人开发的洞穴自动仿真环境（CAVE，1991）在虚拟现实研究领域享有盛名。这种虚拟环境将计算机生成的交互性想象与物理空间的三维音响结合起来，无须应用头盔显示、数据手套，就能使用户悬置对虚拟现实的怀疑。CAVE的界面是一个大约3立方米的小房间。用户进入房间之后，发现自己被三面墙和地板上无缝合成的投射影像所包围。很像是步入了虚拟戏剧的舞台。他们戴着立体成像、嵌入头戴追踪技术的眼镜，使用一根“魔棍”，以手腕的精致运动操纵实时图像。环绕立体声强化了虚拟现实的效果。又如，伊利诺斯大学芝加哥分校菲斯诺尔（FranzFischnaller）开发的“城市丛”（CityCluster，2003）是一个虚拟现实联网矩阵，具备创新性、交互性与可航行性。在其间，现实城市与想象城市可以并存，并通过一个共同的、由高速网络联接的虚拟领土相互联系，让远程参与者得以在共享环境中互动与合作。在展出时，位于芝加哥分校电子视觉化实验室的CAVE显示系统与位于意大利佛罗伦萨市政厅的AGAVE显示系统通过高速网络彼此联结，两地用户可以通过由此形成的共同空间中的虚拟化身互动，戴上实体镜就可看到三维景象，使用配有操纵杆和三个按键的棍状追踪设备就能穿过虚拟空间并操作虚拟物体。他们甚至还可以通过网络实时地交换虚拟物体与建筑，以创造新的虚拟城市。佛罗伦萨代表“文艺复兴时代”，芝加哥代表“吉比特时代”（Gigabits），这一作品因此被赋予历史的、文化的涵义。二、增强现实及其艺术应用增强现实（augmentedreality）是一种同时包括虚拟世界和真实世界之要素的环境。它的出现与下述科技进步密切相关：一是计算机图形图像技术。增强现实的用户可以戴上透明的护目镜，透过它看到整个世界，连同计算机生成而投射到这一世界表面的图像，从而使物理世界的景象超出用户的日常经验之外。这种增强的信息可以是在真实环境中与之共存的虚拟物体，也可以是实际存在的物体的非几何信息。二是空间定位技术。为了改善效果，增强现实所投射的图像必须在空间定位上与用户相关。当用户转动或移动头部时，视野变动，计算机产生的增强信息随之做相应的变化。这是依靠三维环境注册系统实现的。这种系统实时检测用户头部位置和视线方向，为计算机提供添加虚拟信息在投影平面中映射位置的依据，并将这些信息实时显示在荧光屏的正确位置。三是人文智能（HumanisticIntelligence）。人文智能以将处理设备和人的身心能力结合起来为特点。它并非仿真人的智能，而是试图发挥传感器、可穿戴计算机等技术的优势，使人们能够捕获自己的日常经历、记忆所见所闻，并与他人进行更有效的交流。在这一意义上，它是人的身心的扩展。作为智能，它基于用户在计算过程中的反馈，并不要求有意识的思考与努力。目前，国外从事增强现实研究的高校有美国哥伦比亚大学、麻省理工学院、北卡罗来纳大学、华盛顿大学，英国剑桥大学，日本东京大学、庆应大学，澳大利亚南澳大学等；企业有德国西门子公司、美国施乐公司、日本索尼公司等。国内北京理工大学、国防科技大学、西安石油学院、电子科技大学、华中科技大学、上海大学等机构亦已开展这方面的研究。曼洛维奇对增强现实给出如下定义：“将动态的、背景专门化的信息加在用户的视觉域之上”。[7]费尔尼与理查兹将增强现实理解为虚拟现实的一种类型。特点是通过将图像信息强加在现实世界之上而造成二者的结合。[8]我们不妨将增强现实看成虚拟现实发展的新阶段。它借助计算机图形图像与可视化技术产生虚拟对象，并通过传感技术将它们准确地“放置”于真实环境中，使之借助显示设备与真实环境融为一体。增强现实具有以下特点：一是虚实结合。它可以将显示器屏幕扩展到真实环境，使计算机窗口与图标叠映于现实对象，由眼睛凝视或手势指点进行操作；让三维物体在用户的全景视野中根据当前任务或需要交互地改变其形状和外观；对于现实目标通过叠加虚拟景象产生类似于X光透视的增强效果；将地图信息直接插入现实景观以引导驾驶员的行动；通过虚拟窗口调看室外景象、使墙壁仿佛变得透明。二是实时交互。它使交互从精确的位置扩展到整个环境，从简单的人面对屏幕交流发展到将自己融合于周围的空间与对象中。运用信息系统不再是自觉而有意的独立行动，而是和人们的当前活动自然而然地成为一体。交互性系统不再是具备明确的位置，而是扩展到整个环境。三是三维注册，即根据用户在三维空间的运动调整计算机产生的增强信息。增强现实可根据所应用的范围分为户内型与户外型。户内型增强现实从广义上说包括各种将数据层覆盖于建筑物内部物理空间的实践，为建筑师、壁画师、展览设计师和新媒体艺术家所关心。例如，德国建筑师利贝斯坎得（DanielLiberskind）在设计柏林犹太博物馆时，将显示二次大战前该馆现址附近犹太人居住点的地图投射到建筑表面上，使数据空间物质化，变成重新塑造物理空间的力量。又如，加拿大艺术家加迪夫（JanetCardiff）引导观众在物理空间中遵循她由便携式CD播放器或摄像机所传达的指令（如“下楼梯”、“看窗口”等）而行动，变成她所设计的故事的参与者（1995）。在这一过程中，观众所处的物理空间为信息空间所增强，具备了平常所没有、为故事所赋予的含义。这一作品以“音响散步”（audiowalk）著称。相对而言，狭义的户内型增强现实是在计算机技术支持下发展起来的。它允许用户在现实环境中与虚拟物体交互，例如，韩国开发的增强现实游戏ARPushPush运用追踪器检测用户的运动，并通过头盔显示器为用户提供包含了虚拟景观的视野。北京理工大学开发的增强现实海底漫游系统让用户得以使用交互体验设备和虚拟场景中的海洋生物互动、嬉戏。户外型增强现实运用GPS与定位传感器，以背包携带计算机系统，将增强现实带到户外。哥伦比亚大学开发的移动增强现实系统（MobileAugmentedRealitySystems，MARS，1996）是早期例证。它运用了三维显示系统、移动计算、无线网络等技术。其后出现的系统有南澳大学可穿戴计算机实验室开发的IdSoftware公司《地震》游戏的增强现实版ARQuake（2000）等。ARQuake提供了第一人称射手，允许用户在现实世界中四处运动，同时在计算机生成的世界中玩游戏。它使用了GPS、定向传感器、肩背电脑等设备。奥地利格拉兹技术大学、维也纳技术大学等单位也在开发户外型增强现实系统。正如巴黎大学麦凯（WendyE.Mackay）《增强现实：连接现实世界与虚拟世界。与计算机交互的新模式》（1993）一文所指出的，增强