VR_AR与电影_孙略

VR、AR与电影○孙略杂志《大众科学》在1993年6月版（图1）的期刊中专刊介绍了大量的VR技术，同时也展望了VR技术美好应用的前景。然而,23年后在互联网技术已经改变世界的情况下，人们仍然尚未看到在VR领域内出现实质化的颠覆性突破，发生的只是虚拟现实领域中的量变，而非质变。多数体验者仍然需要佩戴头戴式眼镜进行观影体验，而眼镜的售价与画质仍然是大家抱怨的核心。也许，近两年出现的VR热潮已清晰地反映了人们对质变的期待和憧憬。这次VR热潮是互联网产业发展到一定高度2016年被称为VR（VirtualReality，虚拟现实）元年，IT业界似乎又找到了下一个兴奋点，人们都在憧憬着VR技术的巨大发展空间。实际上VR技术的上一次热潮早在上世纪90年代就已经出现，美国科普孙略，北京电影学院影视技术系副教授。摘要：本文以一个电影从业者的角度讨论VR（VirtualReality，虚拟现实）、AR（AugmentedReality，增强现实）与电影之间的关系。本文首先介绍了VR与AR技术概念，其后分析了VR作为电影的呈现技术所具备的特征和可能性，又进一步阐释了AR作为电影的制作技术已经取得的进展，辩证而系统地梳理了VR、AR和电影之间的三者关系，以此引发相关思考，进而从另一个角度审视虚拟现实技术及其所带来的发展空间。关键词：VRAR电影戏剧图1《大众科学》1993年6月版封面1314聚焦VR2016年第3期总第129期之后，IT产业本能寻找下一个突破点的反应。一、VR与AR技术辨析虚拟现实，又称灵镜技术，指用计算机技术产生“虚拟”的世界，让体验者能够无限制自由化地观看，以获得体验的沉浸感。VR技术的三大特征是：沉浸、交互和仿真。其中沉浸指体验者获得的身临其境感受，包括视觉、听觉、触觉甚至嗅觉和味觉，体验者的感受并非来自于现实世界的真实事物，而是通过计算机等高科技技术“虚拟”生成的；交互，是指人-机互动，或者人-机-人互动，体验者并不是处于被动接受的地位，而是成为操控或者规划的主体；仿真，是指对真实事物的模拟与仿真，比如虚拟飞行训练，产品设计仿真等，仿真强调虚拟世界与现实世界的关系，虚拟世界并不是凭空无依据而产生，它是对现实世界的模仿与再造。最近互联网上流行的“让屏幕更近”的图片（图2），清晰而幽默地解释了目前观众体验到的VR技术本质——让屏幕更近！一语道破了头戴式设备的舒适度、画质和价格是这次VR热潮的关键，头戴式设备的技术水平在一定意义上决定了VR技术的发展。目前市场上出现了大量新型头戴式设备，比如HTCVIVE，SONYPSVR和OCULUSRIFT等等（图3）。这些头戴式设备基本结构大同小异，都是将小型屏幕至于头盔内部，通过光学目镜将屏幕上的影像投射在视网膜上成像，同时，整个系统还具有各种传感器，能够感知体验者头部甚至肢体的位置、角度和运动，这些数据传递给计算机之后，计算机算出相应的画面发送给小型屏幕，从而完成交互。计算机传送给小型屏幕的画面分为两种类型，一种类型是预先拍摄下来的全景影像，另一种类型是计算机通过图像引擎实时计算出的虚拟画面。全景影片一般采用前者，而沉浸式游戏一般采用后者。虽然全景影片也具备画面更加真实的特点，但全景电影并不能改变体验者的视点，体验者只能处在一个位置上观看，而通过图像引擎实时计算方式进行画面观看的体验者则可以在虚拟世界中自由行走。所以，VR的基本特征就是体验者观看到的画面与他所在的那个现实空间没有直接关系，体验者在头盔内看到的影像全部都是由计算机提供，使体验者置身于一个完全虚拟的世界，这是VR与AR最本质的区别。AR（增强现实），是将真实世界和虚拟影像相结合的技术。通俗的讲，AR体验者在头戴式设备中所看到的影像分为两个部分，一部分是体验者周边的真实世界，另一部分是计算机生成的内容。AR技术在现实世界上“增加”了一部分虚拟内容，将虚实世界完美结合。增强现实公司MagicLeap体验者看到的景象（图4），是在一个真实的体育场空间内，一只虚拟的鲸鱼腾空跃起；在一个真实的办公环境中，各种数据图表和操控按钮合理的分布于桌面上。体验者可以利用增强现实技术在一个真实空间中射击虚拟怪兽，也可以不依靠电脑或者手机屏幕进行文档编辑。目前，MagicLeap公司图4MagicLeap增强现实演示画面图3OCULUSRIFT（左上），SONYPSVR（右上）和HTCVIVE（下）图2让屏幕更近15聚焦VRVR、AR与电影的增强现实产品仍然处于保密阶段，我们看到的仅仅是产品演示片，但从谷歌公司对其进行巨额投资事件上分析，产品的真实性大概率可信。相信该产品真正推出之时，即是人们期待已久的颠覆性突破之日，必将成为划时代的产品。通过对该公司已经发表的资料进行分析，其核心技术是对高速震动形成扫描的光纤内的光信号进行调制，被调制的光直接投射到视网膜上形成成像，可以将其简单理解成一个至于眼睛前方的微型投影，该投影并不是在银幕上成像，而是在视网膜上直接成像。此技术是区别于以往所有显示技术的颠覆性技术，其最大优势是人眼可以同时观看现实世界与虚拟世界，人类的视觉内容从此进入一个崭新的空间。二、VR作为电影的呈现技术VR技术提供给体验者的三大特征是传统电影所不具备的，基于VR技术的自身特征，下文从VR作为电影的呈现技术角度来讨论VR给电影带来的崭新语言。（一）VR电影的界定目前，观众或体验者面对着太多的VR内容，有众多的名词来形容这些VR产品：VR电影、全景电影、沉浸式电影、沉浸式游戏和体感游戏等，显然我们不能将这些产品都归入电影的范畴，但今天界定的VR电影仍需要纳入传统电影的主要特征。在讨论VR电影的语言特征之前，必须为VR电影划定一个范畴，特别是要区分游戏与VR电影。VR电影与游戏核心的区别是：VR电影在呈现时，观众最重要的体验是“观看故事”，观众处于客体地位，被事先设定的故事线索或情节所引导，观众主要通过“观看”进行获取和学习；而游戏则主要以“交互”为主体，参与者的乐趣在于不断的“交互”，参与者通过人机互动进行获取和学习。即使是游戏和电影早已出现相互融合的今天，我们仍然能够通过“观看故事”和“交互”这两个关键词将它们区分开来。虽然一些VR电影中已经出现了交互因素，比如观众的不同观看视线可以触发不同的事件，但是这些交互手段仅为叙事结构提供了新的可能性，观众的主要体验仍然集中于“观看”这个故事，所以我们称之为VR电影而不是游戏。GoogleSpotlightStories［1］中的《SpecialDelivery》（图5）是VR电影最好的例证，讲述了一位看门人“追捕”神秘陌生人的过程。观众可以跟随主角看完整个故事，或者是观看场景中其他配角身上的小故事。《SpecialDelivery》使用了观看设备中的方向传感器来判断观众的视线集中于何处，然后触发预先设定好的事件，当观众把视线从主角身上移开时，故事主线便会停止，而当观众关注到画面中的其它位置时，相关事件又会触发。观看过这部短片的体验者都会认为它是影片，而非游戏。另一例证是2016年圣丹斯电影节上出现的一个VR装置（图6）。该装置的体验者趴在一个类似于滑翔机一样的实物装置上，通过对该装置进行操作，控制飞行高度、方向、速度等，头戴设备中的全景影像与体验者的操作相配合，实现飞行模拟。按照前面界定的标准，这套装置显然属于游戏的范畴，因为参与者的主要体验在于模拟飞翔这个交互过程本身，他看到的则是一成不变的景物。但是如果他头盔中显示的影像不仅是高楼大厦，而是哥斯拉怪兽正在摧毁整座城市的情节，那么这个情节就会成为体验的核心，而对滑翔机的交互操作就沦为对观看位置、角度调整的次要地位，其目的仅是为观众图5《SpecialDelivery》图62016年Sundance电影节中的VR飞翔模拟装置16聚焦VR2016年第3期总第129期提供更加自由的视角，最终“观看故事”成为体验的主体，从而使体验者得到了一段VR影片。可见，“观看故事”和“交互”这两种体验在VR内容中所占的比重决定了VR内容是电影还是游戏，根据这个标准，我们可以将绝大多数VR电影和游戏加以区别，这种划分本身是在提醒创作者VR电影的主要价值仍然是故事，如何用VR技术讲好一个故事，仍然是成功的关键。（二）VR电影是电影、游戏与戏剧的交融VR电影与传统电影相比，同时融入了游戏与剧场的特征，电影、游戏与戏剧是我们研究VR电影视听特征的三个基点，笔者认为这三个基点是VR电影得以发展的基础。如前所述，VR电影具备了传统电影的观看性，具有交互内容的VR影片还具备了一定的游戏性，那么VR影片与剧场之间是什么关系呢？VR影片在空间呈现上与剧戏具有极端的相似性，虽然现代戏剧在舞台设计上已经出现了很多新的尝试，比如《不眠之夜》［3］，整栋大楼就是表演者的舞台，每一个房间就相当于一个迷你剧场，观众可以随意在这些房间中走动，甚至可以直接和演员互动，但是无论形式上怎么改变，做为戏剧核心空间的舞台是一定存在的，而做为VR影片的观众，他在头盔中所见的那个虚拟空间即是舞台。故事的发生以更接近于舞台剧的方式展开，观众的视线被演员的表演、灯光、声音以及道具所引导，故事的制作者只能利用这些舞台元素来展开一个故事，他无法获取电影导演所具备的镜头剪接手段，也就是说VR影片没有电影的核心语言——蒙太奇。VR影片中场景的转换与戏剧中的场景转场相似，观众拥有自由权在同一场景中选择观看对象，故事的讲述者没有能力像电影导演武断地打破同一场景中的空间。然而，全景影片更像只有一个观众的舞台剧，这个观众的四周被全景舞台所包围，从这个角度讲，戏剧导演与电影导演相比，戏剧导演所具备的叙事方式和调度习惯更加适合VR影片的创作。VR影片同时具有戏剧的舞台空间、电影的观看性和游戏的交互特征，这三个特点共同构建了VR影片的视听特征，电影、戏剧和游戏共同形成了一个三角形（图7），VR影片就是这个三角形内部的圆形。三角形的中心点是电影、戏剧和游戏三方权重等量的位置，从这个点出发，向传统电影的方向偏移，则更加侧重于故事和观看；向戏剧的方向偏移，则更加侧重于舞台空间、演员表演以及现代声光电等舞台技术手段；向游戏方向偏移，则更加侧重于交互。三角形中代表VR电影的圆圈是一个很大的范畴，本文所界定的VR电影全部位于这个圆圈中。以下将以部分典型VR影片为例，讨论它们在圆圈中的位置，从而更好的解析VR影片的视听及交互特征。《Help》（图8）是GoogleSpotlightStories推出的一部重量级作品。它用全景影片的方式向观众展现了一个洛杉矶遭怪兽袭击的故事。影片中的场景全部由全景摄影机拍摄，其中出现了大量的CG角色、粒子特效等内容，影片的节奏紧张，场面宏大，视觉冲击力强，佩戴头盔观看时沉浸感极强。这部影片没有任何交互内容，观众看到的画面全部由导演预先设定，即观众没有选择故事的权利，也不能触发新的线索。《Help》的精彩之处主要来源于逼真的空间、丰富的视觉元素等视听体验。所以这部影片在三角形中处于电影与戏剧连线中间位置的A点。《SpecialDelivery》（图5）引入了交互功能，观众的视线可以触发新的事件，电影、戏剧和游戏的特征在影片中比较均衡，所以它处于圆圈的中心位置B点，带有事件触发功能的VR影片也是今后的一个重要发展方向。圆圈中的C点代表了前文提到的飞翔模拟装置，它更接近于游戏，所以在圆圈之外；如果飞翔装置中的画面内有情节，其位置就会进入圆圈C’，但仍然会靠近图7电影、戏剧和游戏共同形成的三角形A、HelpB、SpecialDeliveryC、飞翔模拟装置C’，具有情节的飞翔模拟装置D、《深海沉船》E、《虚拟绘画》图8《Help》17聚焦VR游戏一侧。《深海沉船》（图9）是一部为HTC的虚拟现实眼镜VIVE量身定制的演示影片，在影片中,体验者成为一个探险者，站在深海沉船之上，可以在沉船的甲板上来回走动，有小鱼会在体验者身边来回游动，当体验者伸手去抓时，会把它们吓跑，这当然是通过手中的传感器实现，影片的结尾部分,突然出现巨型鲸鱼，视觉效果非常震撼。《深海沉船》在观看的基础上增加了少量交互元素，但其卖点主要是对异