40_增强现实系统中的三维用户界面设计与实现84

电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERDISSERTATION（电子科技大学图标）论文题目增强现实系统中的三维用户界面设计与实现学科专业模式识别与智能系统指导教师康波副教授作者姓名唐小成班学号200520706010分类号密级UDC1注学位论文增强现实系统中的三维用户界面设计与实现（题名和副题名）唐小成（作者姓名）指导教师姓名康波副教授电子科技大学成都（职务、职称、学位、单位名称及地址）申请专业学位级别硕士专业名称模式识别与智能系统论文提交日期2008.4论文答辩日期2008.5学位授予单位和日期电子科技大学答辩委员会主席评阅人2008年月日注1：注明《国际十进分类法UDC》的类号。独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日摘要I摘要用户界面是人与计算机之间的通信接口，是人机交互技术的具体表现形态，直接关系到交互系统的成败。增强现实技术是一种三维界面技术，能够实现用户在物理世界和虚拟世界相互融合、增强和弥补的三维环境里执行一系列三维交互操作，具有广阔的应用前景，是新一代以人为中心的用户界面的重要模式之一。但是，它同时也带来了与传统二维用户界面截然不同的交互方式、界面隐喻和可用性等交互设计问题，因此，研究适于特定应用背景下三维虚实环境中的三维用户界面是增强现实应用系统中的研究重点。针对设备维护与维修系统的具体应用背景下，如何提高虚实增强的三维世界中的用户视觉真实感和三维交互感为出发点，论文以人类工效学、心理学为基础的可用性工程的用户分类法为指导对界面进行需求和任务分析，并导出了界面元素特征、交互技术和系统设计方案。论文的主要思想是利用界面隐喻模型、计算机三维图形学算法和手势交互技术来设计三维虚实交互环境中的三维用户界面。具体实现了适于系统的两种三维用户界面方案：其一，基于GUI的三维用户界面。实体组件元素采用基于桌面隐喻的图形用户界面(GUI)的理念；充分利用三维图形学的多种图形绘制与渲染技术来完成虚体组件的设计；研究和实现了将虚体组件与真实场景进行准确配准的跟踪方法以达到真实世界与虚拟世界的无缝融合。其二，基于手势识别技术的三维用户界面。手势识别系统的跟踪部分将采用借助于标记物的视觉跟踪方法，避开了复杂的算法和昂贵的跟踪设备的要求；基于手势集的模板匹配识别方法对被识别的手势赋予具体语义并驱动实际应用。界面设计好后，构建出具体的应用实例，并对三维用户界面进行基于可用性原理的经验评估。结果表明，用户界面概念清楚、易用、虚拟信息表达方式多样化；手势交互部分能够实现无需中间媒体辅助的手势同实物的直接自然交互，体现了实物用户界面的基本思想，对提高用户界面的可用性起着重要作用。与原系统的用户界面相比，本文新开发的用户界面的交互效率得到较大程度的提高，用户的感知和认知一致性得到了较好的体现。关键词：三维用户界面，增强现实技术，手势交互，可用性，人机交互ABSTRACTIIABSTRACTAsthecommunicationalinterfacebetweenhumanandcomputer,UserinterfacedenotesthespecificmodalityofHCIwhichisdirectlyrelatedtoaHCIsystem’ssuccessornot.ARisakindof3DUItechnologieswhichcanrealizetheuser’sseriesofinteractioninamixed,syncretic,unitedworldofphysicalworldandvirtualworldownsawideapplicationforegroundandbecomesanimportantpatternofthenextgenerationalUCDuserinterface.However,ARalsotakesnewproblemsaboutinteractionmanner,interfacemetaphor,usabilityandsoonwhicharecompletelydifferentfromthatin2Duserinterfacetechnology.So,thekeypointofARsystemistoresearch3Duserinterfacesuitedtoveryapplicationbackgroundunder3Dmixedenvironment.Beingaimtoimproveuser’srealisticvisualizationandthreedimensionalinteractionunderequipmentmaintenancebackgroundandbytheacademicdirectionofusabilityengineeringbasedonergonomicsandpsychology,itimplementsrequirementandtaskanalysiswhichwouldexportcharactersofinterfaceelements,interactiontechnologiesandblueprintofsystem.Themainideaofthispaperisdesigning3Duserinterfacein3Dmixedenvironmentwhichmakeuseofinterfacemetaphor,computergraphics’algorithmsandgestureinteractiontechnology.Finally,itpresentstwokindsof3DuserinterfacewhichareappropriateandreasonableinARsystem,asfollows:Thefirstoneisa3Duserinterfacebasedonimprovedgraphicuserinterface.Theinterface’sentitymoduleadoptsideaofdesktopmetaphorofGUI.Andthevirtualmodulemakesthebestofmanytechniquesfromgraphicdrawingandrenderingtechnologies.Italsoresearchesandrealizesexactregistrationbetweenvirtualmoduleandrealscenewhichcanachievealliancebetweenvirtualworldandrealworld.Theotheroneisa3Duserinterfacebasedongesturerecognitiontechnology.Thetrackingpartofgesturerecognitionsystemisawayofvisualtrackingmethodbyhelpofmarkerswhichavoidscomplicatedalgorithmsandrequestofdeartrackingdevices.Thetemplatematchingpartbasedongesturescollectionendowseverygesturewithsyntaxwhichthendrivesinteractioninpracticableapplications.WhenUIisfinished,thispaperbuildstwopracticableexamplesandadoptsmethodsinusabilityprinciplestoperformexperientialevaluation.Theresultshowsthatinterfacesarefeasibleinwhichconceptsareclear,virtualinformation’sexpressionisdiversification.GesturesinteractionpartcanrealizedirectnaturalinteractionwithoutmediatemediabetweengesturesandrealoneswhichimplementsbasictechnologiesofTUIcontributesalottoUI’susability.Bycomparisontotheformersystem’sUI,newuserinterfaces’interactionefficiencyisimprovedanduser’sperceptionandcognitionarecoherentpreferable.Keywords:ThreeDimensionalUserInterface,AugmentedReality,GestureInteraction,Usability,HumanComputerInteraction.目录III目录第一章绪论....................................................................................................................11.1引言...........................................................................................................................11.2用户界面技术的发展概述.......................................................................................21.2.1命令语言用户界面.............................................................................................21.2.2图形用户界面.....................................................................................................21.2.3多媒体用户界面.................................................................................................31.2.4多通道用户界面.................................................................................................31.2.5三维用户界面技术...................................................................