虚拟现实081024-260

混合现实技术鲍虎军浙江大学汇报内容†背景†现状与趋势†科学问题†视频式虚实融合技术内涵†虚拟现实的内涵„逼真的虚拟环境„自然的人与虚拟环境的交互„实时的计算和信息呈现†技术目标„使用户在虚拟环境中获得与现实世界等同的感觉和体验面临的技术挑战†虚拟环境可信度„虚拟模型的精确性、完整性有限†计算与信息呈现的实时性„规模大、复杂度高，计算量巨大†构建成本高，影响应用普及„软硬件、应用模型技术发展†混合现实„引入现实场景信息，减轻场景构建和处理负担,增强用户体验真实感。„在虚拟世界、现实世界和用户间搭起信息回路现实世界虚拟世界用户混合环境需求之一：设计方案的高效辅助论证†国力和影响力日益增大，经济、社会和国防建设迫切需要建设许多重大装备和设施„大型工厂、大型飞机、核设施、大型船舶、航天设施…†特点„研发周期长，协作单位多，费用高昂„使用年限长，稳定性和安全性要求高„高度复杂的系统结构和操作维护程序†面临的重大挑战„如何避免设计缺陷，缩短研发周期„如何保障系统的高效安全运行需求之一：设计方案的高效辅助论证设计实物样机评价修改构造测试虚拟样机需求之一：设计方案的高效辅助论证虚实混合样机提高方案评价的效率和准确性；减少实物试验的次数，缩短研制周期，降低费用。需求之一：设计方案的高效辅助论证†混合样机的优点„将数字虚拟模型融入实物空间环境„实测和计算数据的联合交互分析†设计方案的全方位交互分析„功能、性能和安全性分析„干涉/装配/维护可达性分析„人机工效、外观等评价需求之二：保障准确、高效、安全的维护纸质资料对象的全息数据库资料查询指导实时定位关联在线指导诊断和故障排除训练或实际维护指导维护现场穿透远程危险狭窄遮挡远程需求之二：重大装备和设施的维护†通过实时定位、关联实际对象与虚拟模型，实现高可信的演练和实际操作指导需求之三：高性价比的操作演练实物训练虚拟演练SIMNETSIMNET坦克训练器网络坦克训练器网络飞行模拟器飞行模拟器虚实混合操作演练需求之三：军事演练需求之四：辅助诊疗和娱乐教育等†辅助医学诊疗†娱乐教育†涌现了许多应用系统„各种虚实结合的训练模拟器†虚拟现实型:STOW,JACK,HANK……†混合现实型:汽车、飞行和航海等模拟器„美军在研的未来作战系统（FCS）†虚实融合的嵌入式训练环境„SONY的“穿透视觉”系统现状与趋势真实装备虚拟战场真实士兵虚拟物体†已研发出许多数据采集、跟踪、显示再现技术与装置„几何/视频获取、投影显示、头盔、眼镜、空间定位跟踪、力触觉等装置日益成熟„最新发展†基于光波干涉的三维动态数据采集装置†LightStage、互动式360度光场裸眼显示装置†风力传感界面和装置„发展趋势†高精度、高速率、高分辨率、轻量、裸眼、无线、大空间、低干扰现状与趋势†虚拟环境感知的真实性和实时性矛盾仍是影响其普及的瓶颈„几何建模比较完善，精度高，但效率较低；„物理行为计算模型较多，但完整性和实时性差；„视、听觉计算比较完善，场景规模有限；„触觉计算有进展，离实际应用有很大差距。†交互自然性和效率方面存在很多问题。将生活体验引入人机系统中，增加自然性„语音、三维鼠标、数据手套等跟踪交互技术日益完善„TangibleUI、Camera-basedUI和MultiTouchUI†国内研究水平已得到很大提高，研发了一些很好的应用系统，装置方面的成果较少。现状与趋势所涉及的科学问题虚实混合环境的一致性表示、呈现及其相互作用时空完全配准行为及其相互作用符合客观规律用户对二者具有同样感觉虚实无缝融合科学问题1现实世界虚拟世界现实世界信息模型虚拟世界信息模型信息模型用户†虚拟环境与现实环境的一致性表示（几何、外观、物理和行为等）„现实对象和其信息模型的一致性„虚实信息模型在信息空间中的一致性„虚实环境混合的时空一致性科学问题2现实世界虚拟世界用户现实世界信息模型虚拟世界信息模型呈现＋信息模型†符合人类感知的虚实混合环境的呈现„逼真的感知信息实时呈现„符合用户感知的空间度量信息合成„呈现方法与装置科学问题3现实世界虚拟世界用户现实世界信息模型虚拟世界信息模型执行器交互界面信息模型†虚实环境的相互作用„增强虚拟„增强现实„用户与虚实环境的交互呈现＋†二种模式„将虚拟模型投影到显示媒介中，与实际场景在投影方向保持一致性。„用视频表达实际场景，将虚拟模型合成到视频场景中。†关键问题„用户观察方位（摄像机）的自由调整与跟踪„融合时需对实际场景三维结构有所认知和约束，以保持虚实场景的一致性二、实景与虚景无缝合成†几何一致性„摄像机标定与定位„场景的三维结构†光照一致性„光照环境的恢复†作用一致性„阴影效果„遮挡„反射几何重建运动恢复结构深度图像几何模型Multi-ViewStereo融合的关键问题运动恢复结构（SFM）……运动恢复结构特征跟踪……2.1基于视觉的摄像机标定和跟踪(CVPR07)†关键问题„特征的匹配跟踪„求解的稳定性和效率„误差累积的控制2.1基于视觉的摄像机标定和跟踪†特征匹配问题„特征点轨迹的跟踪寿命偏短，误差容易累积，严重影响标定质量。†非连续特征跟踪方法„估计出特征点轨迹间的可能匹配关系，建立非连续帧间的相互匹配关系：相关性矩阵，实现特征点轨迹的快速合并。2.1基于视觉的摄像机标定和跟踪†综合考虑初始帧的选择、分层重建的时机选择、关键帧的选择和全局优化的数值求解问题，给出了具体的计算策略和方法，有效克服了自动标定和跟踪过程的计算不稳定缺陷：„初始帧选取的四个标准：自定标质量、焦距变化程度、基线距离、匹配特征点个数，并给出了其定量刻画。„从射影空间到欧氏空间的上升时机的选择机制，有效抑制了射影重建的积累误差，最大限度地利用了多帧约束。†研发了摄像机自动标定、跟踪系统xTrack，在求解的稳定性上优于国际上的专业摄像机跟踪软件2d3boujou和REALVIZMatchMover。2.1基于视觉的摄像机标定和跟踪我们方法的结果以及与商业软件“Boujouthree”的对比误差累积的控制策略追踪射影重建过程的累积误差，及时自标定，防止因误差累积导致自标定失败，完成射影空间到欧氏空间的转换几种策略的对比摄像机标定与跟踪系统2.2单目视频立体化(TVCG07)单目视频深度图像3Dwarping立体视频Multi-ViewStereo很难？运动视差双目视差†转化成优化问题„无需稠密深度的恢复„直接将运动视差转化成双目视差2.3单目视频立体化单目视频立体化运动恢复结构密集深度恢复几何重建融合2.3虚拟景物与视频场景的融合视频场景的深度自动恢复(CVPR08)„Imagenoise„Texturelessregions„Occlusions„Estimationerror统一的优化框架∑=+=nttsttdDEDDIDEIDE1^^^))()\,;(();(•Ed刻画视差D与序列的缝合程度–色彩保持约束、几何连贯性约束•Es定义了视差D的光滑性ImagenoiseEstimationErrorOcclusionsAllcanberegardedasvideonoise!优化流程inputsequencetheinitialresultwithoutsegmentationsegmentationtheinitializationusingsegmentationourfinalresultafterbundleoptimization深度自动恢复几何自动重建虚实融合虚实融合†视频透视式头盔显示器†光学穿透式头盔显示器†实时跟踪定位技术与装置三、增强现实显示和跟踪技术突出进展†V8头盔改装„硬件：CCD摄像机，多通道图像采集卡，运动跟踪„软件：视频采集，注册定位，虚实图像融合显示3.1视频透视式头盔显示器突出进展†轻量化设计:新型自由曲面头盔显示光学系统„三个自由曲面„视场角45度„出瞳直径8mm„OLED显示芯片对角线0.61英寸„达到国际先进水平3.1视频透视式头盔显示器突出进展3.1视频透视式头盔显示器突出进展3.2光学穿透式头盔显示器†提出了一种新型的光学图像融合器件，比国外产品的设计成倍地提高了两个通道上的光能利用率。突出进展国外产品光路项目组设计光路213213国家发明专利申请号：200510008494.9设计视场/(0)水平：18，垂直：13.5，对角线：22.5设计波长/nm656.27，587.56，486.13主波长/nm587.56出瞳距离/mm25出瞳大小/mm10图像源尺寸/mm30×40，对角线：50系统传递函数曲线1.00.90.80.70.60.50.40.30.20.1MODULATION5.010.015.020.025.030.035.040.045.050.0SPATIALFREQUENCY(CYCLES/MM)XY平面棱镜光学设计设计视场/(0)水平：57，垂直：34，对角线：64设计波长/nm656.27，587.56，486.13主波长/nm587.56出瞳距离/mm29出瞳大小/mm4图像源尺寸/mm30×40，对角线：50系统传递函数曲线1.00.90.80.70.60.50.40.30.20.1MODULATION10.020.030.040.050.0SPATIALFREQUENCY(CYCLES/MM)XY轻型大视场光学设计†设计指标全面超过国外同类产品†电磁式无源姿态跟踪器†六自由度电磁跟踪†光电式六自由度跟踪系统†摄像机实时跟踪定位技术3.3实时跟踪技术突出进展（1）电磁式无源姿态跟踪器()GTTTSA*****,ϕpraToyoxoAAA==()eprTzoyoxooMHHHMTTTSH*****,ϕ==()()⎩⎨⎧−==ayoyaxoxSpArSAp/cos/arcsin/arcsin()orpTzyxHHHHTTH**,,−−==磁传感器和加速度计的输出表示：突出进展测量范围：航向角±180°俯仰、倾斜角±80°测量精度：航向角0.5°俯仰、倾斜角0.2°刷新频率：30Hz工作温度：-40℃∽+70℃采用全固态器件具有精度高、功耗低、体积小、抗干扰、工作温度范围宽、性能稳定、价格低廉的特点（1）电磁式无源姿态跟踪器（3）光电式六自由度跟踪系统†设计了一套空间编码的红外标志点，基于前述视觉计算方法，采用光学跟踪方式跟踪用户头部的三维位姿。（4）摄像机实时跟踪定位技术†基本思路实时视频流实时特征提取实时特征匹配实时求解摄像机参数绘制预处理三维特征点数据库自然特征点Markers增强视频流特征描述量实际场景的特征描述†对场景预采样„拍照、拍摄视频†建立三维特征点数据库„抽取并定量刻画特征点†尺度、旋转和光照不变性†“同名”特征点的自动检测和合并„恢复特征点的空间位置„特征点入库†(三维位置，特征描述向量)实时匹配与求解特征描述量实时拍摄(二维点,三维点)匹配对三维特征点数据库采样视频预处理抽取特征匹配增强视频摄像机参数实时求解（三维位置，特征描述量）摄像机的实时跟踪定位结语†多学科交叉的研究方向†需要发展实时图形和实时视觉计算技术†需要高精度的跟踪定位†存在大量的问题待解决†……谢谢！