敦煌石窟虚拟重现与壁画修复模拟

测绘学报投稿敦煌石窟虚拟重现与壁画修复模拟潘云鹤鲁东明陈任(浙江大学计算机科学与工程系中国杭州310027)[e-mail]@[e-mail]摘要：由于受到自然灾害、经济建设、旅游开发等因素的影响，许多珍贵稀有文物遗址已处于濒危境地，如何有效保护、研究与开发这些文物资源已经显得非常的迫切与重要。本文研究了如何将计算机技术与传统文物保护工作结合起来，对文物实施数字化保存、重现和修复；并以敦煌文物为研究对象，利用虚拟现实、图像处理与人工智能等技术实现了敦煌石窟虚拟展示、脱落壁画复原与演变模拟等系统，极大地提高和改善了文物保护研究的效率与效果。关键词：虚拟现实；人工智能；文物保护；艺术复原1引言自然灾害、经济建设、旅游开发等因素的影响，许多珍贵稀有文物遗址已处于濒危境地，有些甚至正在或将要消失。抢救性地保护珍贵文物信息，已经显得非常的迫切与重要。采用信息技术对文物实施数字化保存，可以最大程度地弥补因文物不可抗拒的衰变或消失而带来的缺憾；同时利用虚拟现实、图像处理与人工智能等技术实现敦煌石窟虚拟展示、脱落壁画复原与演变模拟等系统，极大地提高和改善文物保护研究的效率与效果。敦煌石窟是我国和世界闻名的珍贵历史文化遗产之一。由于地理条件的限制，阻碍了敦煌石窟艺术的广泛传播；同时由于地处沙漠之中，常年的风沙侵袭，敦煌壁画已经受到了严重的破坏。浙江大学与甘肃省敦煌研究院合作进行了敦煌石窟虚拟重现与壁画修复模拟的研究。作为国家自然科学基金重点项目“多媒体与智能技术集成及艺术复原”课题的一个部分，其目的是在计算机平台上提供浏览敦煌石窟的虚拟现实界面，为用户提供一个全方位的友好、方便的浏览工具，为考古学家与艺术家提供鉴赏、研究的平台，并对破损、褪色壁画进行修复。目前，我们已完成基于SGIO2工作站平台与微机平台上的敦煌虚拟漫游系统，其中前者已在德国汉诺威世界博览会（EXPO2000）展出；另外，完成了一些具代表性的洞窟壁画图像色彩的数字化复原与历史演变过程模拟。以上研究工作已被整理并发表在IEEEMultimedia和EuroGraphics2000等国际和国内学术会议和期刊上[9][10]。本文将具体介绍我们的工作。在第二节中我们总结了目前国内外的相关系统，第三节和第四节将详细阐述敦煌石窟虚拟重现与漫游系统和壁画色彩虚拟复原与演变模拟系统，最后我们将对我们的工作作一个总结。_________________________________________________作者简介：潘云鹤（1946－），男（汉族），浙江杭州人，教授，博导，中国工程院院士，浙江大学校长。目前研究方向为认知科学、人工智能，计算机美术等。基金项目：国家自然科学基金重点项目（69733030）2国内外相关应用系统及技术随着计算机科学的不断发展，特别是计算机图形学和数字图像处理等技术的逐渐成熟，为古代珍贵文物的保护、复原与研究提供了新的手段与方法，计算机辅助的文物保护与开发受到了广泛的关注，许多国家已开始将信息技术应用于古代文物的收集、保存、虚拟展示、复原、辅助考古与研究、旅游宣传等各个方面，并取得了许多成果。另外，随着应用需求的加强，面向古代文物保护与开发的专门信息技术研究，已引起学术界的普遍关注。近几年一些多媒体、虚拟技术或图形学方面的国际会议开设了文化遗产（CultureHeritage）专题，并将多媒体与虚拟技术用于文物保护作为会议的主题，如VSMM’98,EG’99等[3][4][8]。2.1文物数字化技术文物的数字化是计算机辅助文物保护工作的基础。根据文物对象的特征，文物数字化的研究分为二维文物数字化获取和三维文物数字化获取两个部分。二维文物数字化获取的对象一般包括文物的平面图案、色彩、文本等，其数字化目前常用的方法是采用数字摄影技术来对文物进行拍照，或采用普通相机拍摄后使用扫描仪记录为数字图像。比如，英国大英博物馆就使用照相机拍摄了馆藏的经书和绢画，以作永久保存。三维文物数字化目前大致有三类方法，即基于测量的方法、基于计算机视觉的方法和基于三维扫描仪的方法。其中第三类方法是目前数字化方法的主流。这方面典型的工作有：美国斯坦福大学、华盛顿大学与Cyberware公司合作完成的数字化米开朗基罗计划，该计划使用三维扫描仪记录了十座米开朗基罗所塑造的大型塑像，包括著名的大卫像[1]；日本岐阜大学完成的基于测量的Shirakawa-go地区的古村落数字化工作等[2]。2.2文物虚拟展示技术文物虚拟展示技术主要研究如何将已经数字化记录完毕的文物如实地展示出来。其应用主要有：为考古专家提供非常逼真详细的文物外观信息；为艺术家们提供图像清晰、照明充足的临摹范本和鉴赏环境；为游客在展览馆或网页上交互地欣赏一些珍贵文物、观看文物发掘过程；展示文物出土时的周围环境、位置，整个发掘现场的整体状况，以及随着发掘工作的进展，整个遗址环境的变化等。文物虚拟展示最典型的应用是虚拟文物遗址漫游系统，这里用到的计算机技术主要是虚拟现实（VirtualReality）技术。典型的有意大利罗马大学的AngelaAntonicelli等人正在进行的Plinius工程，对庞贝古城进行研究，建立庞贝城的虚拟现实模型，并实现三维漫游[3]；中德合作创建的敦煌信息网站，利用VRML和QTVR等技术实现对敦煌洞窟的漫游，使得用户在网络上也可以参观敦煌石窟，得到相关资料[4]。为进一步提高文物虚拟展示的真实感和展示系统的效率，根据不同应用系统的要求，文物虚拟展示技术的研究目前主要集中在加速实时绘制技术，加速实时网络浏览技术和真实感绘制技术等方面。一些计算机图形学最新的研究成果，例如基于图象的建模（ImageBasedRendering，IBR）技术，多分辨率建模（MultiresolutionModeling）等等，都已经在文物虚拟展示系统中获得了应用。2.3计算机辅助文物复原技术计算机艺术复原是计算机图形学一个分支，近几年的SIGGRAPH会议均设专题进行讨论。1994年7月在美国举行的世界计算机图形学大会上，计算机艺术方面的内容比例很大，专门编印了计算机艺术作品选。近年来，计算机艺术复原在文物修复方面的应用得到了世界各国广泛的关注，连续两年，VSMM98与EuroGraphic99在其会议中开设了这方面的专题讨论组，并出版了专集。现在在文物修复领域常用的，而且已经成熟的方法主要是单纯的基于计算机图象处理的修复方法。其利用的技术和原理是艺术图象处理的一般技术原理，大多数并不具有针对文物保护这个特定领域的特性。这样，许多在恢复阶段中十分有用的知识（例如壁画的变色、褪色知识），以及其他一些具有参考价值的信息都被忽略了。另外，整个修复过程在形式上基本是人机交互，计算机对修复工作不提供启发和指导功能，因此存在很大的局限性。针对以上不足，人们开始研究人工智能、多媒体与传统图象处理的结合。在多媒体技术的基础上，通过嵌入知识表达与推理机制，来提高或改善多媒体系统在媒体制作、组织存储、检索和显示交互方面的性能。3敦煌石窟虚拟重现与漫游3.1文物数字化信息获取敦煌石窟艺术中最有艺术价值的是其壁画和彩塑。如何将其完整，无损地记录下来，是我们文物数字化信息获取的主要目标。根据获取对象的不同特点，我们将壁画、石窟结构和彩塑分别采用不同的方法来进行获取工作。·壁画数字化获取我们采用数字相机拍摄来获取壁画的图像数据。为了获得高精度的壁画图像，我们首先把一整幅的壁画划分成若干个区域进行拍摄，并且使相邻照片有部分重叠以便拼接。拍摄的壁画图像经过预处理后，再合成为整幅壁画图像。·石窟结构数字化获取对于石窟结构，我们从已知的测量数据直接使用三维建模工具（如AUTODESK公司的3DSMAX等）进行建模，把壁画和地砖纹理采用投射贴图的方法映射到洞壁表面，采用凹凸贴图的方法来模拟洞壁上的浮雕，并根据洞壁原始情况改变其凹凸度以增加真实感。·彩塑模型数字化获取对于彩塑等外形比较复杂，对记录精度要求很高的三维对象，我们采用三维扫描技术来获取其模型。使用专业的三维扫描仪可以容易地获得三维物体的几何模型，其记录精度可以达到毫米数量级。并针对敦煌彩塑的特点研究了专门的模型拼接算法。另一方面，由于文物大多具有丰富的色彩信息，这些色彩、纹理也是考古专家研究的重要内容。但是目前大量使用的三维扫描仪只能获得物体的单色几何模型，无法直接获取色彩信息。为了弥补这种不足，我们研究了如何通过三维扫描仪扫描获得的单色模型与围绕着它所拍摄的一系列数字相片来获取物体纹理贴图的方法。该算法通过模型到图象的对准技术、几何投射与变形和拼接等步骤来获取物体圆柱贴图纹理，具有直观、对原始照片质量要求小、允许运行时编辑等优点。该方法已经在系统中得到了使用，并取得了很好的效果。3.2莫高窟外景虚拟漫游传统的漫游系统主要使用非常成熟的几何建模和真实感图形绘制技术，通过手工方法建立场景的三维模型，设定光照、纹理，然后根据游览者的观察角度用光线跟踪或纹理映射的方法进行真实感绘制。但这种绘制技术存在着一些明显不足：首先，对于复杂的场景，特别是自然景观，较难建立满足真实感要求的模型，所以不得不花费大量时间去建模，并且显示时对硬件的要求也很高。另外，漫游场景是计算机根据一定的光照模型进行绘制的，色彩层次没有实际的自然景观丰富，用户很容易看出是由计算机产生出来的。为了克服以上不足，许多学者探索了基于图象的绘制(IBR)技术，直接利用照片作为输入来实现漫游，在外景虚拟漫游中，我们就采用了基于全景图的IBR方法。这种方法最大的特点和优点是易于实现、效率高、漫游速度快，也可以在普通的计算机上实现实时地漫游而不需要专门的图形、图象的硬件加速设备。根据敦煌外景的特点，我们专门研究了IBR中的环绕与穿透漫游方法。这样，用户就可以连续漫游整个景区，而不是象传统的基于全景图的IBR方法那样只能在固定几个点上观察景物。3.3艺术石窟内部虚拟漫游艺术石窟内部虚拟漫游的设计目标是：具备基本的漫游功能，即自由控制漫游路线；具备局部对象的拾取、放大等处理功能，满足考古工作者和艺术工作者的需要；提供较高真实感的绘制，特别在是壁画的清晰度方面，要保证用户在接近壁画时仍具有一定的分辨率；提供面向游客的石窟漫游等。[6]因为敦煌石窟彼此之间相互独立。用户在实际参观中某一时刻所关注的只可能是一个石窟。所以我们将各个石窟分别建模和漫游，并以外景漫游将它们有机地串在一起。这不仅为实现自由式的漫游提供了设计方便，而且在实际应用中，也可以方便研究人员开展工作。基于上述要求，我们设计了如下系统结构：[8]系统在结构上设计为四个部分。最基本的是多媒体信息的数据库（MDB），是包括石窟的三维模型数据结构，彩塑，壁画，关于壁画的文字、声音和视频等信息。它是系统的一切数据来源，并提供数据I/O操作的接口；虚拟场景生成器（VSG—VirtualSceneGenerator）是系统的核心部分，包括三个子模块：3D模型表达；石窟彩塑表达和壁画多媒体信息表达；用户界面（UI）负责管理各种显示场景的窗口，接受用户的各种输入信息等。对于本系统来说，关键技术在于石窟中的塑像的处理，这些人物塑像往往造型复杂，色彩丰富，给建模和渲染上带来了很大困难，我们采用基于morphing的IBR方法和多分辨率模型方法来解决这一问题：·基于Morphing的IBRMorphing是一种图象变形技术，是使一个数字图象到另一个图象的流畅的变化。平滑的变形是利用对两幅图象色彩插值来实现的，通常是先对图象进行warping，提供图象中特图1艺术石窟内部虚拟漫游系统总体结构多媒体数据库三维模型生成模块壁画，彩塑纹理生成洞窟导游信息获取接口OpenGLAPI用户界面三维视图导游信息视图视点控制VRML载入模块建模工具与三维扫描输入征的几何形状转换以保证图象的几何特征的对应关系，然后再对色彩进行插值。在漫游过程中，我们采用改良的基于特征线段的Morphing方法来对彩塑照片进行插值，以获得中间视点的视图。由于敦煌彩塑