体验虚拟现实04-39

1系统仿真与虚拟现实实验室（SS&VRLab）1CyberForceDigitalSeatingBuckHapticWorkstation力触觉工作站包含:‡一个可以调节的汽车座椅‡一个头盔显示器(HMD)‡Immersion公司手交互软件，该软件可以载入CAD模型体验虚拟现实体验虚拟现实ExperiencingVirtualRealityExperiencingVirtualReality第四讲第四讲VRVR的计算体系结构的计算体系结构范秀敏系统仿真与虚拟现实实验室上海交通大学机械与动力工程CIM研究所上海市网络化制造与企业信息化重点实验室2系统仿真与虚拟现实实验室（SS&VRLab）3VRVR是如何工作的是如何工作的??3D模型计算机人头/眼/手跟踪图形,声音,触觉感知形状,颜色,图案,纹理,光照,视点,行为.1234系统仿真与虚拟现实实验室（SS&VRLab）4目录目录绘制流水线基于PC的图形体系结构基于工作站的体系结构分布式VR体系结构3系统仿真与虚拟现实实验室（SS&VRLab）5VRVR的计算体系结构的计算体系结构VR引擎是任何VR系统的关键部分，它从输入设备中读取数据，访问与任务相关的数据库，执行任务要求的实时计算，从而实时更新虚拟世界的状态，并把结果反馈给输出显示设备。这个术语是一种抽象，指的是各种硬件配置，从单个计算机到支持给定仿真的通过网络互联在一起的许多计算机。虚拟现实引擎虚拟现实引擎VREngineVREngine计算机头/眼/手跟踪图形,声音,触觉感知1234系统仿真与虚拟现实实验室（SS&VRLab）6VRVR的计算体系结构的计算体系结构VR实时性的特征要求VR引擎足够强劲，以保证：¾快速的图形和力触觉刷新率（30fps帧/秒，上百赫兹Hz);¾低延迟(100ms，避免仿真病simulationsickness);¾该体系的核心是渲染/绘制流水线renderingpipeline.¾本课程中，将绘制拓展到力触觉(Haptic)的绘制范畴4系统仿真与虚拟现实实验室（SS&VRLab）7应用程序阶段应用程序阶段几何处理阶段几何处理阶段光栅化阶段光栅化阶段VRVR的计算体系结构的计算体系结构¾渲染是指把组成虚拟世界的三维几何模型转换成展示给用户的两维场景的过程¾渲染图形流水线有三个功能阶段，流水线的速度取决于最慢的那个阶段图形渲染流水线图形渲染流水线TheGraphicsRenderingPipelineTheGraphicsRenderingPipeline系统仿真与虚拟现实实验室（SS&VRLab）8¾传统的渲染流水线用软件方法完成（慢）¾现代的流水线体系使用并行体系和缓冲区¾应用程序阶段在软件程序中执行¾其他两个阶段通过硬件加速完成图形渲染流水线图形渲染流水线5系统仿真与虚拟现实实验室（SS&VRLab）9HPVisualizefx流水线体系结构绘制流水线的一个例子系统仿真与虚拟现实实验室（SS&VRLab）10应用程序阶段应用程序阶段几何处理阶段几何处理阶段光栅化阶段光栅化阶段图形渲染流水线图形渲染流水线6系统仿真与虚拟现实实验室（SS&VRLab）11应用程序阶段应用程序阶段TheapplicationstageTheapplicationstage9完全由CPU在软件中完成9读取世界几何数据库和来自鼠标、跟踪球、跟踪器或传感手套的用户输入9改变虚拟相机的坐标系9为力触觉感知，执行碰撞检测和碰撞响应（基于物体属性）9瓶颈：影响渲染速度——流水线优化系统仿真与虚拟现实实验室（SS&VRLab）12高分辨率模型134,754polygons.低分辨率模型~600polygons9降低模型的复杂程度(减少模型的多边形数–减少对图形流水线的输入);应用程序阶段优化应用程序阶段优化7系统仿真与虚拟现实实验室（SS&VRLab）139减少浮点运算精度（单精度代替双精度）9编写代码时尽可能减少除法的数目9由于都由CPU完成，可以选择双核处理器等应用程序阶段优化应用程序阶段优化系统仿真与虚拟现实实验室（SS&VRLab）14应用程序阶段应用程序阶段几何处理阶段几何处理阶段光栅化阶段光栅化阶段图形渲染流水线图形渲染流水线8系统仿真与虚拟现实实验室（SS&VRLab）15几何处理阶段几何处理阶段9由硬件完成9包括模型和模型变换9根据光照模型计算，进行场景明暗效果处理9场景投影、裁剪和映射到场景坐标系中系统仿真与虚拟现实实验室（SS&VRLab）16光照计算子阶段光照计算子阶段9计算表面颜色，基于：ƒ仿真光源的类型和数量ƒ光源模型ƒ反光表面的属性ƒ大气效果，如雾和烟ƒ光照计算的结果使物体具有明暗效果，看上去更加真实9系统仿真与虚拟现实实验室（SS&VRLab）17Iλ=IaλKaOdλ+fattIpλ[KdOdλcosθ+KsOsλcosnα]系统仿真与虚拟现实实验室（SS&VRLab）18光照计算子阶段优化光照计算子阶段优化9场景中光源少，计算量也少9明暗模型越简单，计算量越小(真实感也减少):9方法：ƒ线框模型/Wire-framemodels;ƒ面片明暗处理模式/Flatshadedmodels;ƒGouraud明暗处理模式/Gouraudshaded;ƒPhong明暗处理模式/Phongshaded.10系统仿真与虚拟现实实验室（SS&VRLab）19Gouraud明暗处理模式面片明暗处理模式线框模型系统仿真与虚拟现实实验室（SS&VRLab）20应用程序阶段应用程序阶段几何处理阶段几何处理阶段光栅化阶段光栅化阶段图形渲染流水线图形渲染流水线11系统仿真与虚拟现实实验室（SS&VRLab）21光栅化阶段光栅化阶段9为了提高速度，它是通过硬件实现的;9把几何处理阶段输出的顶点信息（例如颜色和纹理，x，y，z）转换成视频显示器需要的像素信息9一个重要功能是执行反走样，以平滑多边形的边缘锯齿系统仿真与虚拟现实实验室（SS&VRLab）229现代的流水线可以对点、线和整个场景进行反走样处理走样的多边形（锯齿）反走样处理后的多边形12系统仿真与虚拟现实实验室（SS&VRLab）239计算与触觉反馈相关的力和材质力学属性的过程9由软件和硬件完成9也有三个阶段触觉绘制流水线触觉绘制流水线TheHapticsRenderingPipelineTheHapticsRenderingPipeline系统仿真与虚拟现实实验室（SS&VRLab）24第一阶段，‡主要是从数据库中加载三维对象的物理特性，包括表面柔性、光滑度、重量和表面温度等。‡执行碰撞检测，以确定是否有虚拟对象发生碰撞第二阶段，‡主要是基于各种物理仿真模型计算触点压力。昀简单的模型是基于胡克定律，触点压力的大小与表面变形的程度相关。‡力平滑指调整力向量的方向，以避免相邻多边形表面的受力情况出现剧烈变化，‡而力映射是指把计算好的力映射成触觉显示系统的某个特性。第三阶段：‡主要绘制仿真过程的接触反馈分量。计算出来的效果，如振动或表面温度，附加在力向量上，发送给触觉输出设备。到触觉接口特性的映射非常重要，例如可以使用振动代替触点压力（就像CyberTouch手套那样）。触觉绘制流水线触觉绘制流水线13系统仿真与虚拟现实实验室（SS&VRLab）25目录目录绘制流水线基于PC的图形体系结构基于工作站的体系结构分布式VR体系结构系统仿真与虚拟现实实验室（SS&VRLab）269CPU的速度从1994年Intel486的66MHz发展到奔腾PentiumIV的3.6GHz;9从只有每秒绘制7,000Gouraud明暗处理多边形的能力，到(SpeaFireboard，1994年)到每秒能绘制2700万Gouraud明暗处理多边形的能力.(ATIFireGL2);9现代的PC可以是单用户或多用户，单显示或多屏排列显示;9是一个激烈竞争行业.基于PC的图形体系结构14系统仿真与虚拟现实实验室（SS&VRLab）27PCPC总线体系总线体系––同样非常重要同样非常重要9PC机体系结构的通信瓶颈影响着实时图形绘制的性能。9瓶颈的主要原因是因连接图形卡和其他I/O设备的外围设备接口(PCI，“PeripheralComponentInterface“)总线的带宽只有33MHz，不足以处理它所连接的所有设备产生的通信量。9从系统RAM到图形存储器的数据传送必须与硬盘、局域网和其他I/O通信竞争总线带宽。9通过引入加速图形接口（AGP，“AcceleratedGraphicsPort”）总线，来解决PCI带宽问题，264MHz(AGP4x)9“PCI-Express”。这个新标准将全面取代现行的PCI和AGP，昀终实现总线标准的统一系统仿真与虚拟现实实验室（SS&VRLab）28PC系统体系GraphicsGraphicsAcceleratorAccelerator(memory+(memory+processorsprocessorsAGP8x传输率~2GBpsPCI传输率~133MBps33MHzx32bit/secIntel820/850chipset15系统仿真与虚拟现实实验室（SS&VRLab）29计算体系PCPC加速卡加速卡9PC图形加速卡性能远超摩尔定律Moore’slaw（每18个月，性能翻番）;9ATIFireGL2;9NVIDIAQuadro2Pro;93DLabsWildcat5210;9每年还有其他的卡出现.系统仿真与虚拟现实实验室（SS&VRLab）30Stereoglasses接口FireGL2FireGL2AGP总线接口被动冷却16系统仿真与虚拟现实实验室（SS&VRLab）31FireGL2FireGL2体系体系系统仿真与虚拟现实实验室（SS&VRLab）32FireGL2FireGL2特点特点::9每秒27000000个无纹理Gouraud明暗处理多边形/27MillionG-shaded/sec.,non-texturedpolygons/sec;9像素数据以每秒410M个像素或200M个纹理像素的填充速度传送给帧缓冲存储器/Fillrateis410MPixels/sec.;9光照计算（昀大16个光源）/16lightsources;9具有300MHz数/模转换器（D/Aconverter），以获得模拟监视器所需的RGB信号17系统仿真与虚拟现实实验室（SS&VRLab）33QuadroQuadro2Pro(GloriaIII)2Pro(GloriaIII)结构结构GraphicsprocessorUnit(GPU)200MHzDDRMemory（帧缓冲）系统仿真与虚拟现实实验室（SS&VRLab）34NVIDIAQuadro2ProNVIDIAQuadro2Pro特点特点::9每秒31百万个Gouraud明暗处理多边形能力（G-shadedtriangles/sec);9反走样处理（anti-aliasing）;9GPU的像素填充速度为每秒1G个像素，纹理填充速度为每秒2G纹理像素;96.4GB/sec内存带宽.18系统仿真与虚拟现实实验室（SS&VRLab）35XX--BoxBox系统仿真与虚拟现实实验室（SS&VRLab）36X-box体系19系统仿真与虚拟现实实验室（SS&VRLab）37PlayStation2与X-boxEthernetport以太网接口主板256channels,3D48channels声音4xDvD,8GBharddrive,8MBcard4xDvD,8MBcard存储150Million/sec.20/75Million/sec多边形性能Unified64MBTotal32MB内存nVidia300MHzSony150MHz图形处理.Intel733MHzMIPS300MHzCPUX-BoxPS2特点系统仿真与虚拟现实实验室（SS&VRLab）38图形基准测试图形基准测试GraphicsBenchmarksGraphicsBenchmarks9基准测试由第三方独立组织执行;9基于标准的应用案例，进行图卡性