虚拟现实的无线网络传输技术研究进展

　第３９卷　第３期华侨大学学报（自然科学版）Ｖｏｌ．３９　Ｎｏ．３　　２０１８年５月ＪｏｕｒｎａｌｏｆＨｕａｑｉａｏＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ）Ｍａｙ２０１８　　　犇犗犐：１０．１１８３０／ＩＳＳＮ．１０００?５０１３．２０１８０１０５０　　　　虚拟现实的无线网络传输技术研究进展魏三强１，２，孙彦景１（１．中国矿业大学信息与控制工程学院，江苏徐州２２１１１６；２．宿州职业技术学院计算机信息系，安徽宿州２３４１０１）摘要：　随着通信技术、移动互联网技术和智能终端技术的高速发展，虚拟现实（ＶＲ）系统相关设备已高度集成化和互联网化，形成了由终端、内容生成系统、应用平台和网络传输系统组成的架构．为了保证ＶＲ系统的高交互性和实时性，从提升ＶＲ的无线网络传输效率、优化网络通信协议和提高无线网络传输带宽等方面阐述满足ＶＲ无线网络传输现实需求的技术方法，并分析虚拟现实无线网络传输技术的发展趋势，提出虚拟现实无线网络传输技术的研究挑战．关键词：　虚拟现实；通信协议；无线网络传输；５Ｇ中图分类号：　ＴＰ３１１文献标志码：　Ａ　　　文章编号：　１０００?５０１３（２０１８）０３?０３２４?０８　犚犲狊犲犪狉犮犺犘狉狅犵狉犲狊狊狅狀犠犻狉犲犾犲狊狊犖犲狋狑狅狉犽犜狉犪狀狊犿犻狊狊犻狅狀犜犲犮犺狀狅犾狅犵狔犻狀犞犻狉狋狌犪犾犚犲犪犾犻狋狔ＷＥＩＳａｎｑｉａｎｇ１，２，ＳＵＮＹａｎｊｉｎｇ１（１．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＭｉｎｉｎｇａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｘｕｚｈｏｕ２２１１１６，Ｃｈｉｎａ；２．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎ，ＳｕｚｈｏｕＶｏｃａｔｉｏｎａｌａｎｄＴｅｃｈｎｏｌｏｇｉｃａｌＣｏｌｌｅｇｅ，Ｓｕｚｈｏｕ２３４１０１，Ｃｈｉｎａ）犃犫狊狋狉犪犮狋：　Ｗｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｃｏｍｍｕｎｉｃａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ｍｏｂｉｌｅｉｎｔｅｒｎｅｔｔｅｃｈｎｏｌｏｇｙａｎｄｉｎｔｅｌｌｉｇｅｎｔｔｅｒｍｉｎａｌｔｅｃｈｎｏｌｏｇｙ，ｖｉｒｔｕａｌｒｅａｌｉｔｙ（ＶＲ）ｓｙｓｔｅｍｒｅｌａｔｅｄｅｑｕｉｐｍｅｎｔｉｓｈｉｇｈｌｙｉｎｔｅｇｒａｔｅｄａｎｄＩｎｔｅｒｎｅｔ，ｆｏｒｍｅｄｂｙｔｈｅｔｅｒｍｉｎａｌｓ，ｃｏｎｔｅｎｔｇｅｎｅｒａｔｉｏｎｓｙｓｔｅｍ，ｔｈｅａｒｃｈｉｔｅｃｔｕｒｅｏｆａｐｐｌｉｃａｔｉｏｎｐｌａｔｆｏｒｍａｎｄｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎｓｙｓｔｅｍ．Ｉｎｏｒｄｅｒｔｏｅｎｓｕｒｅｔｈｅｈｉｇｈｉｎｔｅｒａｃｔｉｖｉｔｙａｎｄｒｅａｌ?ｔｉｍｅｐｅｒｆｏｒｍａｎｃｅｏｆＶＲｓｙｓｔｅｍ，ｆｒｏｍｔｈｅａｓｐｅｃｔｓｏｆｈｏｗｔｏｉｍｐｒｏｖｅｔｈｅｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎｅｆｆｉｃｉｅｎｃｙｏｆＶＲ，ｏｐｔｉｍｉｚｅｔｈｅｎｅｔｗｏｒｋｃｏｍｍｕｎｉｃａｔｉｏｎｐｒｏｔｏｃｏｌａｎｄｅｎｈａｎｃｅｔｈｅｂａｎｄｗｉｄｔｈｏｆｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎ，ｔｈｅｔｅｃｈｎｉｃａｌｍｅｔｈｏｄｓｔｏｍｅｅｔｔｈｅｄｅｍａｎｄｏｆＶＲｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎａｒｅｅｘｐｏｕｎｄｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｔｈｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｏｆｖｉｒｔｕａｌｒｅａｌｉｔｙｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎｔｅｃｈｎｏｌｏｇｙｉｓａｎａｌｙｚｅｄ，ａｎｄｔｈｅｒｅｓｅａｒｃｈｃｈａｌｌｅｎｇｅｏｆｖｉｒｔｕａｌｒｅａｌｉｔｙｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎｔｅｃｈｎｏｌｏｇｙｉｓｐｕｔｆｏｒｗａｒｄ．犓犲狔狑狅狉犱狊：　ｖｉｒｔｕａｌｒｅａｌｉｔｙ；ｃｏｍｍｕｎｉｃａｔｉｏｎｐｒｏｔｏｃｏｌ；ｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎ；５Ｇ随着通信网络、智能终端、大数据和云计算等相关技术的快速发展，虚拟现实（ｖｉｒｔｕａｌｒｅａｌｉｔｙ，ＶＲ）系统能够部署在云端，借助无线通信网络为世界各地的用户提供多种类型的服务．由于ＶＲ的内容具有高分辨率和高帧率的特点，其海量数据对无线网络传输带宽能力有较高的要求［１］．为了保证ＶＲ系统的　收稿日期：　２０１８?０１?１５　通信作者：　魏三强（１９８０），男，副教授，博士研究生，主要从事云计算、智能算法、虚拟现实无线网络传输技术的研究．Ｅ?ｍａｉｌ：[e-mail]．　基金项目：　国家自然科学基金资助项目（５１２７４２０２）；国家自然科学青年基金资助项目（５１５０４２５５）犺狋狋狆：∥狑狑狑．犺犱狓犫．犺狇狌．犲犱狌．犮狀高交互性和实时性，使其能够为用户提供更好的视觉体验，国内外学者们针对ＶＲ无线网络传输技术的需求开展了大量的研究工作［２?３］．鉴于此，本文在梳理、归纳和总结相关文献研究成果的基础上，主要从提升ＶＲ的无线网络传输效率、优化网络通信协议和提高无线网络传输带宽等３个方面着手，阐述满足ＶＲ无线网络传输现实需求的技术方法，未来ＶＲ无线网络传输技术的发展趋势，以及ＶＲ无线网络传输技术需要继续深入研究的问题．１　虚拟现实无线网络传输架构虚拟现实是指利用计算机等技术模拟产生一个为用户提供视觉、听觉及触觉等感官模拟的三度空间虚拟环境，用户可借助特殊的输入／输出设备，与虚拟的环境进行自然的交互并相互影响，获得一种仿图１　ＶＲ系统架构图Ｆｉｇ．１　ＶＲｓｙｓｔｅｍａｒｃｈｉｔｅｃｔｕｒｅｄｉａｇｒａｍ佛在真实环境中的感受与体验效果［４］．经典的ＶＲ系统主要由输入设备、输出设备及运行虚拟现实应用的计算机构成．如今ＶＲ系统相关设备已高度集成化和互联网化［５］，形成由终端、内容生成系统、应用平台和网络传输系统组成的架构，如图１所示［１］．ＶＲ的内容主要包括两类：一是基于计算机开发的ＶＲ三维环境；二是基于全景相机拍摄的真实全景视频．一个完整的ＶＲ视频无线网络传输架构主要由全景视频采集、视频拼接、映射过程、压缩编码和无线网络传输等５个部分组成（图２）．１）全景视频采集．ＶＲ视频由全景摄像机拍摄而成．２）视频拼接．视图２　ＶＲ视频无线网络传输架构Ｆｉｇ．２　ＶＲｖｉｄｅｏｗｉｒｅｌｅｓｓｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎａｒｃｈｉｔｅｃｔｕｒｅ频拼接是将若干视频合成一路全景视频，最终提供给用户一个完整的ＶＲ视频．３）映射过程．为方便存储与压缩编码，ＶＲ视频内容需被几何映射至平面．４）压缩编码．ＶＲ视频主要使用压缩编码以减少视频中的冗余信息．当前ＶＲ视频主要采用Ｈ．２６４和ＨＥＶＣ／Ｈ．２６５等编码标准，以兼容现有的编码器及播放设备．５）无线网络传输．通过互联网将ＶＲ视频分发给用户，为了达到流畅、清晰的ＶＲ视频体验效果，无线网络传输效率是当前最大的挑战．２　虚拟现实无线网络传输的技术需求为了保证ＶＲ系统的高交互性和实时性，ＶＲ无线网络传输的技术需求包括提升无线网络的传输效率、优化网络通信协议和提高网络传输带宽等方面［１］．２．１　犞犚无线网络传输效率的提升自二十世纪九十年代起，国内外的专家学者已开始研究如何通过改进算法提升ＶＲ的无线网络传输效率，并取得了一定的研究成果．在ＶＲ系统中，用户的交互界面、游戏中的角色和场景等内容均由三维模型构成，针对三维模型的压缩传输则成为提升ＶＲ无线网络传输效率的一个重要问题．１９９６年，业界提出三维模型渐进压缩传输算法，但它只支持对静态模型的流式传输，由于模型的顶点删除及分裂方式与表面有关，在模型表面出现形变后，其原始的记录不再有效［４］．文献［６］使用谱变换方法，把网格在空间域上表示为基矩阵与一系列多分辨率变换矩阵，能够用于渐进传输及恢复，只传输变形后的谱系数而不是完整模型，明显降低网络开销，初步实现变形模型的压缩与流式传输［４］．文献［７］又进一步将实时变形模型引入移动终端，提出一种渐进的变形压缩和流式传输技术．文献［８］提出一种大规模场景模型的网络流式传输策略，能够有效提高大规模三维城市场景模型的网络传输效率．文献［９］为了提升大规模三维网格模型的传输效率，深入研究了三维模型简化技术和渐进式传输技术，并将这两种技术有效地结合．文献［１０］提出一种新的单分辨率三角形网格拓扑编码算法和一种几何预测编码算法，该压缩方法能够减少三维网格的数据量．５２３第３期　　　　　　　　　　　　魏三强，等：虚拟现实的无线网络传输技术研究进展犺狋狋狆：∥狑狑狑．犺犱狓犫．犺狇狌．犲犱狌．犮狀为了压缩三维模型中的海量数据，进一步提高三维模型网络传输的速度，文献［１１］提出一种基于三维模型几何信息的纹理图像压缩算法，取得了较好的数据压缩效果．文献［１２］提出一种新颖的三维模型压缩算法，该算法在三维模型网络传输中能取得很好的压缩效率．针对大数据环境下，三维模型的传输需求问题．文献［１３］提出一种基于数据类型转换的点云快速有损压缩算法，在保证整个三维点云模型质量的前提下，具有较好的压缩效果．文献［１４］提出一种基于改进八叉树的三维点云压缩算法，该算法具有良好的压缩率且能够缩短压缩时间．文献［１５］在系统研究目前三维模型压缩和简化技术的基础上，为了提高三维模型的压缩效率，提出一种基于标准劳埃德算法的点云模型压缩技术、一种基于邻域聚类合并的点云模型简化技术及一种协作简化三角形网格及其纹理图像的技术．文献［１６］也提出一种改进的渐进网格算法，该压缩方法主要包括网格简化和网格拓扑几何数据编码压缩．以上压缩方法虽各有利弊，但都达到了一定的数据压缩效果，在一定程度上提升了ＶＲ的无线网络传输效率．由于全景视频具有侵入感强、观看视角自由、较好的用户体验效果等优点，已被作为ＶＲ重要的内容来源之一［１７］．当前，全景视频压缩技术尚处于探索阶段．ＮｅｘｔＶＲ公司提出了一种立体视频压缩技术（降低信息熵），而Ｆａｃｅｂｏｏｋ公司专门针对ＶＲ，提出了动态流（ｄｙｎａｍｉｃｓｔｒｅａｍｉｎｇ）技术，其技术原理主要是压缩非用户当前视点范围内的所有视频，仅传输当前视点的高清内容给用户，为了确保画质与分辨率的无损，传至用户ＶＲ设备上的视频压缩比最多达到原来的２０％．２．２　犞犚网络通信协议的优化当前，在网络系统中常用的基本通信协议是传输控制协议（ＴＣＰ）和用户数据包协议（ＵＤＰ）．相比无连接的ＵＤＰ，面向连接的ＴＣＰ有更好的数据一致性，但是由于ＴＣＰ接收到数据包时需要确认机制，假如出现丢包，就得重传，其实时性明显要比ＵＤＰ差一些［１８］．为了能够有效地解决实时性和可靠性之间的矛盾，业界提出以下３种ＶＲ通信优化协议［１］．１）分布式交互仿真协议（ＤＩＳ）．ＤＩＳ是由电气和电子工程师协会（ＩＥＥＥ）定义的一种平台级实时战略游戏标准，它建立了单独的协议元素的形式和内容．ＤＩＳ是ＶＲ与网络技术相结合的产物，它被广泛应用于军事、太空探测及医疗等领域．２）交互式共享传输协议（ＩＳＴＰ）．ＩＳＴＰ是构建在ＴＣＰ，ＵＤＰ，ＲＴＰ，ＨＴＴＰ４个协议之上的混合通信协议，它支持在一个虚拟环境中一组进程的信息共享．３）分布式虚拟世界传输和通信协议（ＤＷＴＰ）．ＤＷＴＰ是Ｉｎｔｅｒｎｅｔ上的共享虚拟环境的应用层协议．它允许一个虚拟环境收发诸如事件、消息、文件和流等类型的数据．虚拟现实传输协议（ＶＲＴＰ）是ＶＲ的应用层协议．它试图使用一个统一的框架支持ＶＲ所有类型数据的传输，使用协议模块的集合提供给客户必要的连接．如今，虽然学界和业界一直不断地优化ＶＲ的网络通信协议，但在该领域仍没形成被广泛认可的工业或科学标准［１］．ＶＲ网络通信协议的优化依然有较大的研究空间．２．３　犞犚无线网络传输带宽的提高ＶＲ的内容具有高分辨率及高帧率的特点，其海量数据对无线网络传输带宽能力（实时传输速率）表１　ＶＲ内容对无线网络传输带宽能力的要求Ｔａｂ．１　ＲｅｑｕｉｒｅｍｅｎｔｓｏｆＶＲｃｏｎｔｅｎｔｆｏｒｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎｂａｎｄｗｉｄｔｈｃａｐａｂｉｌｉｔｙ分辨率每像素比特数／