023软件学院基于视频的3D成像系统开发x云南大学教务处

云南省大学生创新创业训练计划项目立项申请表推荐学校：云南大学项目名称：基于视频的3D成像系统开发项目申报类别：创新训练所属一级学科名称：计算机科学与技术申请人：袁晓松所在学院及年级：软件学院2012级指导教师：代飞单位和职称：云南大学软件学院讲师填表日期：2013年5月8日云南省教育厅制2012年2月填表说明1.《申报书》各项内容，必须实事求是，表达要明确严谨，并要求打印或用钢笔填写。页面不够时可加页，不得破坏后面表格的完整和美观。对于填写不合要求、内容含糊不清、字迹潦草者，不予受理。2.该《申报书》为A4纸，各单位或个人可以从云南省教育厅高等教育处网站自行下载或翻印，但格式、内容、大小应与原件相同。一、项目申请人情况申请人姓名袁晓松性别男民族汉出生日期1992.10.12所在学院软件学院专业、班级软件工程项目名称基于视频的3D成像系统开发通讯地址云南大学呈贡校区楸苑三幢B—316电话[phone]项目类别■创新训练□创业训练□创业实践项目周期9个月所属学科专业软件工程申请人参加科研的经历自何年月至何年月参加的项目担任的工作2013.42013.4“创新杯”大学生数学建模组长，分析建立模型2012.122012.12计算器开发实现组长，算法设计项目组其他成员（不超过5人，不包括申请人和指导教师）姓名性别年级所在学院专业分工签名汤伟男2010软件学院软件工程软件原型开发汤伟王博女2010软件学院软件工程视频分析与元素捕获研究王博杜希女2010软件学院数字媒体技术元素构建3D成像研究杜希二、拟申报项目情况（一）项目介绍（研究目标、研究背景及现状、工作原理和方案设想、计划进度安排等）1、研究目标（1）研究3D成像技术、360度视频成像技术。（2）分析提取视频中对指定事物描述的元素，采用3D成像技术重构为3D模型。（3）设计3D模型外部接口，提供API供其他软件调用。（4）研究对提高视频分析精度、3D模型优化等对3D成像有益的技术方法。（5）成功开发3D成像系统能够满足用户需求，基于视频提取特征因子，生成3D模型。2、研究背景及现状背景：3D技术，是一场毋庸置疑的视听领域全新革命，人们在慢慢接近更为真实的观看体验。3D俨然可以作为产业进行发展，然而标准的空白确实阻碍了企业研发的部分热情。有的企业曾呼吁国家出台相关标准，或者行业协会制定标准办法，这说明3D标准已经引起厂商重视，规范化发展迫在眉睫。3D技术的成功缘于科技的无穷魅力，而3D创造的奇迹也为能否抓住时代机遇带来挑战。对于中国的技术发展前景来看，3D技术是产品设计、人才储备、市场管理等各个方面的新课题。3D技术的成熟不仅可以带动产品价值提升，同时为我国电影国际化和文化产业振兴奠定了基础。而随着计算机性能的快速发展，人们对3D场景的真实感和视觉体验的要求越来越高。一方面，虚拟现实技术、全景摄影技术在大行其道的同时，由于其高昂的制作成本和使用费用，让人望而生畏，使得这两项技术难以推广；另一方面，传统的3D模型设计软件如3DMAX、GoogleSketchUp等只能通过人机交互的方式将用户头脑中的事物模型建模成数字化的3D模型，无法真实地描述客观存在的实物，难以满足用户的要求。故而，如何将现实事物通过媒介转换为数字化的3D模型成为了当今计算机软件技术所面临的重要挑战之一。现状：国内外已有相关3D成像技术的研究，如360度全景摄影（PanoramicPhotography），微软的StreetSlide街景技术、Google的StreetView街景技术等都是较成熟的全景技术。其中360度全景摄影能够实现通过所拍摄的内容构建出简单的3D场景，StreetSlide和StreetView则是可以将卫星地图拍摄到的画面构造成较为细致的3D模型，技术并不公开。同时360全景摄影技术使用费用十分高昂，微软和谷歌的技术也只是提供给自家的地图服务使用，并不对外公开。因此“基于视频的3D成像技术”会给这个市场带来新的变革，并获得自己的一份市场份额。3、工作原理与方案设想研究方法：课题将遵循从实际应用中来并回到实际应用中去的总体研究思路。所谓“从实际应用中来”是指研究初期，将在已有相应的软件理论及工具原型的支持下，针对典型应用案例，实践基于过程模型驱动的软件开发，发现现有研究工作和成果的不足。所谓“回到实际应用中去”是指将课题的研究成果应用于指导基于过程模型驱动的典型应用案例的开发，以分析和验证研究成果的合理性和有效性。借鉴已有、成功的3D成像技术，并充分发挥项目申请人和其项目组成员已获得的关于视频分析、3D成像等的研究成果，以此来指导课题的研究，包括：视频解压与帧提取的方法、图像识别与关键元素提取的方法、3D模型设计理论与实践的方法、3D成像的建模理论和方法等。可以借鉴3D自动成像系统，3D自动成像系统是国内首个企业制作3D产品展示解决方案，实现企业普及化应用3D产品展示的智能系统，系统通过控制相机及旋转设备对物品进行多角度拍摄，4分钟高效完成产品3D动画制作，并通过专业播放器实现高速播放的智能化系统。系统原理：系统由软件自动化控制相机和转盘同步工作实现，操作简便，易学易用；最终输出格式为SWF或GIF格式；可使用于所有网站语言程序使用；软件控制转盘与相机进行同步工作，保证了物品多角度拍摄同时平稳旋转。并能大大提高工作效率.3D自动成像系统应用：3D自动成像系统2009年正式推出市场以来，收到了广大电子商务应用客户的欢迎和支持；因其系统化地解决了产品3D全景动画拍摄到制作、应用的难题；现国内大型网络平台如太平洋电脑网、京东商城、优众网络、麦包包等知名品牌都已应用，并取得一定的效果；3D自动成像系统的发展：2009年，广州盈商科技正式推出产品3D展示动画制作解决方案“3D自动成像系统”第一版后，到2011年已经历3个版本的升级；目前，已经可以实现用户无专业化基础的前提下快速上手使用3D自动成像系统拍摄制作出理想的效果；未来一年内，3D自动成像系统将会不断创新，为用户提供更强大的功能；2011年，全景秀网推出的3D精灵，采用全新的自动成像技术：硬件部分采用普通电动转盘(转盘不受电脑控制)，电动转盘开关打开后，软件负责监测其旋转速度并计算每张照片的间隔时间。但是本项目与3D自动成像系统并不完全一致，本项目主要是通过视频中截取的各个方向模型的图像生成3D模型，以方便用户查阅，可以参考部分3D自动成像系统的原理。技术路线（1）研究视频分析与元素提取通过视频导入器对视频进行解压缩，将提取单独帧，对其进行帧分析、图像识别和视频元素提取。得到3D成像主体事物的描述元素，将其记录下来。（2）研究3D成像与模型建立将记录下来的元素进行离散和规律的重构成3D模型，对其中的元素点进行分析，成像得到3D成像模型。其中涉及的算法、数据结构将利用已有的案例来进行推演得到3D成像数学模型和相应的算法、数据结构。（3）研究视频元素优化与3D模型优化视频元素优化是基于对视频帧的检测，检测到多数帧的色彩描述等存在差异将会采用视频元素优化方法在视频元素提取前对视频进行进一步的优化以确保质量。3D模型的优化则是在3D成像后检测模型的优劣，若与实物差距过大则采用模型优化算法进行细节上的修补。（4）构件库设计、开发工具和案例验证如图：图2体系结构图课题将在已有理论和工具原型的基础上，开发新的新的工具和功能，支持视频分析提取和3D成像，体系结构如图1所示，虚线部分为本次开发的核心部分。在工具原型的支持下，将工具中核心的功能加以提取构建出可重用的构件库，最大限度的推广研究成果，并且课题将研究成果应用于基于视频的3D成像技术的典型应用案例的开发，以分析和验证研究成果的合理性和有效性。4、计划进度安排(1).第一阶段(2013年7月-2013年9月)：查阅国内外资料文献，对3D成像技术进行理论研究；丰富自身，对计算机图形学、视频分析技术等进行相关学习；权衡项目复杂度和项目需求设计项目研究方案;在确定项目研究方案后撰写为阐述、审核和确定研究方案的开题报告。在这期间拟投寄1-2篇论文。(2).第二阶段(2013年10月-2013年12月)：对第一阶段的理论研究进行实际的开发设计。开展实验研究3D成像技术，开展算法分析设计、UML建模分析设计，进行3D成像技术的软件原型的开发和设计。在实际设计的过程中开展数据统计、处理与分析等工作，保证开发质量。在开发完成后对软件进行后续的优化设计，测试和BUG的修正，设计接口并构建类库提供软件的重用。在这期间拟投寄1-2篇论文。(3).第三阶段(2014年1月-2014年3月):研究工作至最后的收尾阶段，填写相应的结题表，撰写研究论文和总结报告并参加结题答辩和成果推广。同时，我们还会为我们的研究和产品申请相应的专利。（二）项目自我评价（创新点、实现的可能性、可操作性、可能存在的问题等）1、创新点（1）采用视频捕获技术，对专业性的要求大大降低，非专业用户只要有一部手机或者DV就可录制视频，就可实现利用项目研究出的原型软件设计出自己的3D模型。（2）成像优化，在3D模型建立的同时对其进行优化处理，保证3D模型的质量和还原度。（3）开放性的软件服务，即软件原型开发成功后将会放置在互联网上给用户提供服务，给需要的人提供便利。（4）提供软件的构件库，可被其他软件项目重用或二次开发。2、实现的可能性与可操作性基于视频的3D成像技术的研究总体上可分为四大部分，一是视频分析和元素提取部分，二是利用一中提取的视频元素进行3D成像，三是在二中得到的3D模型的基础上进行相应的优化设计，得到最优的事物模型，最后是将软件原型开发过程中的相关部分设计成构件库以能够最大程度的重用构架。下面将其进行分别阐述：（1）研究视频分析与元素提取研究视频压缩与解压技术，研究图像识别与分离技术和图像元素提取技术。读取导入的视频文件，解压成帧后对帧进行分析，然后对模型所需的关键元素进行提取。（2）研究3D成像与模型建立建立3D成像的数学模型，算法设计和软件原型开发。通过对3D成像的研究得出所需的数学模型，对模型进行理论分析和实际检测得出可用的算法。将1)中得到的元素进行分析利用得到的模型和算法进行3D模型的构建，得到成像后的模型。（3）研究视频元素优化与3D模型优化研究视频质量优化方法和3D模型质量优化方法。根据视频的质量和后期生成的3D模型质量进行分别优化。优化视频质量视频质量直接关系到生成的3D模型质量。如果检测到视频质量不佳，则会采用视频优化算法在对视频元素提取前对视频进行优化，来保证3D成像的质量。优化3D模型质量成像后的3D模型质量不佳则直接关系到后期对模型的其他应用。如果检测到成像后的3D模型不佳则会采用模型优化算法对模型进行重新优化，以保证质量。（4）构件库设计、开发工具和案例验证设计可重用的构建库,使研究成果得到推广和最大限度的重用。开发软件工具原型支持视频分析与提取和3D成像并建模，并进行案例验证，对研究成果的合理性和有效性进行检验。（5）可参照已有的3D自动成像系统进行开发3、可能存在的问题（1）提取视频因素的标准，应该以什么为标准从视频中截取特定特征因子以组成模型。（2）用提取的视频元素进行3D成像的算法设计和模型开发，完全自己开发仍需要很大的时间与精力钻研。（3）3D成像技术尚不成熟，尤其是基于视频的3D模型构造尚属于新技术，并没有太多的资料与项目可以借鉴，虽然已经有开发出的3D自动成像系统，但是公司享有知识产权，涉及具体技术并不外泄，所以本项目的创新性很强，虽然有一定困难，但是做出来很有价值。（三）预期成果（成果的具体形式，如：申请专利、公开发表论文、制作科技实物（含软件程序）等，可以同时有多种成果形式）（1）开发原型工具能够分析提取视频中对指定事物描述的元素，采用3D成像技术重构为3D模型，开发出完整的应用系统，能够投入实际运用。（2）撰写项目研究报告完成项目后，撰写完成项目研究报告。（3）发表相关论文在中文核心期刊发表论文1篇以上，包括3D成像技术、360度视频成像技术的研究。（4）设计外部接口设计3D模型外部接口