医学成像技术(第八章 三维重建技术)

第七章三维重建技术7.1概述任务三维二维发展早期探索阶段（1970s-1980s）主要针对心脏、肝脏、胚胎、神经等器官的三维重建；表面重建的算法：轮廓线提取算法、轮廓线对应算法、三角片镶嵌算法、曲面拟合算法等等；基础算法研究阶段（1990s）基于体元的表面绘制算法：Cuberille，MarchingCubes，DividingCubes；直接体绘制算法：Raycasting，Splatting，V-Buffer；及各种加速算法；实用系统研究阶段(90年代末)外科手术模拟系统、放射治疗模拟、虚拟内窥镜、整形外科、解剖模拟。应用领域诊断医学：在临床核医学研究中，CT图象、磁共振图象和超声图象的广泛应用是诊断的有力的手段。应用先进的可视化技术对这些图象进行处理、构造三维实体模型以及对其进行剖切显示，有助于了解复杂解剖特征的空间定位和随着时间所发生的变化。整形与假肢手术规划可视化技术在整形外科中的应用是假肢设计（造型）。例如，在做髋骨更换手术前，需要根据病人的个体特征正确地设计所需髋骨假肢的外形，才能减少因假肢形状差异造成手术失败的概率。首先根据CT或MR图象重构假肢的精确三维模型，交工厂制作，然后进行手术更换。放射治疗计划利用放射性射线杀死或抑制恶性肿瘤需要事先做出仔细规划，包括剂量计算和照射点定位。如果辐射定位不准或剂量不当，轻则造成治疗效果不佳，重则危及周围正常组织。根据医学图象重建病人病灶区的解剖结构，并作出精确定位和剂量计算已是实际可行的。脑结构图及其功能研究由于脑的复杂性，纯粹采用神经生物学家所常采用的简化方法无法对之作出进一步了解。可视化技术在通过组织切片、医学成象仪器（如超声波、CT、MR、PET等）、药物吸收和神经生理实验等手段获取脑的数字图象，并进行特征提取和脑图分析，重构三维脑的结构图和功能图，以适当的三维显示方式显示出来。7.2主要内容预处理分割模型构建模型网格简化绘制预处理分割二维分割三维分割重建绘制面绘制体绘制7.3表面绘制MarchingCube算法表面重建皮肤灰度阈值HU=500表面重建皮肤HU=500骨头HU=1150表面重建透明显示皮肤HU=500表面重建透明显示皮肤HU=500骨骼HU=1150阻光度=0.8阻光度=0.6阻光度=0.4阻光度=0.257.3体绘制在自然环境和计算模型中，许多对象和现象只能用三维数据场来表示。与传统的计算机图形学相比，对象体不再用几何曲面或曲线表示的三维实体，而是用体素（Voxel）作为基本造型单元。对于每一体素，不仅其表面而且其内部都包含了对象信息，这是仅用曲线和曲面等几何造型方法所无法表示的。体绘制的目的就在于提供一种基于体素的绘制技术，它有别于传统的基于面的绘制，能显示出对象体的丰富的内部细节。体光照模型体光照模型是研究直接体绘制的基础。从物理意义上讲，当光线穿过体素与光线遇到一曲面时，会发生不同的光学现象。前者如光线穿过云层会发生吸收、散射等现象；后者如光线射到桌面上，有漫射、反射、透射等现象。不同的物理背景决定了体光照强度的计算与面光照强度的计算有不同的模型和方法。体光照模型就是研究光线穿过体素时的变化，将光线穿过体素时的物理现象用数学模型来描述。在目前的体绘制中，采用得较多的有：源-衰减模型（Sourceattenuation）变密度发射模型（Varyingdensityemitters）材料分类及组合模型（Classificationandmixture）源-衰减模型最早由Jaffery提出。该模型为体数据场中的每一体素分配一个源强度和一个衰减系数，每一个体素作为一个质点光源，发出的光线在数据场中沿距离衰减后被投影到视平面上，形成结果图象。当光照射到物体表面时，光线可能被吸收、反射和透射。被物体吸收的部分转化为热，反射、透射的光进入人的视觉系统，使我们能看见物体。为模拟这一现象，建立一些数学模型来替代复杂的物理模型，这些模型就称为明暗效应模型或者光照明模型。三维形体的图形经过消隐后，再进行明暗效应的处理，可以进一步提高图形的真实感。计算某一点的光强度的模型。光照模型影响观察者看到的表面颜色的因素①物体的几何形状②光源位置、距离、颜色、数量、强度、种类③环境遮挡关系、光的反射与折射、阴影④视点位置⑤物性材料、颜色、透明度折射性⑥表面光洁度光源①几何性质点光源线光源面光源②光谱组成白色光等能量的各种波长可见光的组合彩色光单色光光的传播反射定律：入射角等于反射角，而且反射光线、入射光线与法向量在同一平面上光源法向量入射光反射光视线折射定律折射定律：折射线在入射线与法线构成的平面上，折射角与入射角满足入射光折射光2112sinsin能量关系在光的反射和折射现象中的能量分布：下标为i,d,s,t,v的能量项分别表示为入射光强，漫反射光强，镜面反射光强，透射光强，吸收光强能量是守恒的idstvIIIII简单光照明模型模拟物体表面的光照明物理现象的数学模型－光照明模型简单光照明模型亦称局部光照明模型，其假定物体是不透明的，只考虑光源的直接照射，而将光在物体之间的传播效果笼统地模拟为环境光。可以处理物体之间光照的相互作用的模型称为整体光照明模型简单光照明模型光照射到物体表面，主要发生：反射透射（对透明物体）部分被吸收成热能反射光，透射光决定了物体所呈现的颜色简单光照明模型-环境光假定物体是不透明的（即无透射光）环境光：在空间中近似均匀分布，即在任何位置、任何方向上强度一样,记为Ia环境光反射系数Ka：在分布均匀的环境光照射下，不同物体表面所呈现的亮度未必相同，因为它们的环境光反射系数不同。光照明方程（仅含环境光）：Ie=KaIaIe为物体表面所呈现的亮度。简单光照明模型-环境光例子具有不同环境光反射系数的两个球0.1aI4.0aK8.0aK简单光照明模型-环境光缺点：虽然不同的物体具有不同的亮度，但是同一物体的表面的亮度是一个恒定的值，没有明暗的自然过度。考虑引入点光源。点光源：几何形状为一个点，位于空间中的某个位置，向周围所有的方向上辐射等强度的光。记其亮度为Ip点光源的照射：在物体的不同部分其亮度也不同，亮度的大小依赖于物体的朝向及它与点光源之间的距离.简单光照明模型简单光照明模型：-漫反射角度余弦的推导漫反射粗糙、无光泽物体（如粉笔）表面对光的反射光照明方程漫反射的亮度点光源的亮度漫反射系数入射角漫反射光的强度只与入射角有关]2,0[cosdpdKIIpIdKdI简单光照明模型-漫反射将环境光与漫反射结合起来一般取Ia=(0.02~0.2)Id例子)(NLKIKIIIIdpaade简单光照明模型-漫反射缺点：对于许多物体，使用上式计算其反射光是可行的，但对于大多数的物体，如擦亮的金属、光滑的塑料等是不适用的，原因是这些物体还会产生镜面发射。简单光照明模型-镜面反射镜面反射光滑物体（如金属或塑料）表面对光的反射高光入射光在光滑物体表面形成的特别亮的区域简单光照明模型-镜面反射理想镜面反射观察者只能在反射方向上才能看到反射光，偏离了该方向则看不到任何光。简单光照明模型-镜面反射非理想镜面反射P为物体表面上一点，L为从P指向光源的单位矢量，N为单位法矢量，R为反射单位矢量，V为从P指向视点的单位矢量光滑平面I=IpKscosna镜面简单光照明模型-镜面反射镜面反射Is为镜面反射光强。点光源的亮度Ks是与物体有关的镜面反射系数。n为镜面反射指数，n越大，则Is随a的增大衰减的越快。n的取值与表面粗糙程度有关。n越大，表面越平滑（散射现象少，稍一偏离，明暗亮度急剧下降）n越小，表面越毛糙（散射现象严重）anspsKIIcosnspsRVKII)(或pI简单光照明模型模拟物体表面对光的反射作用,光源为点光源反射作用分为物体间作用用环境光(AmbientLight)漫反射(DiffuseReflection)镜面反射(SpecularReflection)简单光照明模型-Phong光照明模型简单光照明模型-Phong光照明模型Phong光照明模型的综合表述：由物体表面上一点P反射到视点的光强I为环境光的反射光强Ie、理想漫反射光强Id、和镜面反射光Is的总和。])()([nsdpaasdeRVKNLKIKIIIIIPhong光照明模型是真实感图形学中提出的第一个有影响的光照明模型经验模型，Phong模型存在不足：显示出的物体象塑料，无质感变化没有考虑物体间相互反射光镜面反射颜色与材质无关镜面反射大入射角失真现象Phong光照明模型的不足Ie=0.75，Id=0.5Is=0.25Ie=0.5，Id=0.5Is=0.25Ie=0.75，Id=0.75Is=0Ie=0.75，Id=0Is=0.75Ie=1，Id=0Is=0.9体绘制方法体光照模型提供了体数据中各数据点光照强度的计算方法，体绘制方法提供的是二维结果图象的生成方法。首先根据数据点值对每一数据点赋以透明度t和颜色值（R,G,B），再根据各数据点所在点的梯度及光照模型计算出各数据点的光照强度，然后将投射到图象。平面中同一象素点的各数据点的透明度和颜色值综合在一起，形成最终的结果图象。根据不同的绘制次序，体绘制可以分为两类以图象空间为序的体绘制方法-体光线跟踪法以对象空间为序的体绘制方法-体单元投影法体光线跟踪法-光线投射法(RayCasting)以图象空间为序的体光线跟踪绘制算法是从屏幕上的每一象素点出发，根据视点方向，发出一条射线，这条射线穿过三维体数据场。沿这条射线选择K个等距采样点，由距离采样点最近的八个体素的颜色值和不透明度值做三线性插值，求出该采样点的颜色值和不透明度值。而后可以采用由后到前或由前到后的方法，将射线上每一采样点的颜色和不透明度组合起来，计算出屏幕上该象素点对应的颜色值。光线跟踪算法的主要步骤是：For每条光线DoFor每个与光线相交的体素Do计算该体素对图象空间对应象素的贡献。根据光子传输理论,有以下体显示方程:体单元投影法以对象空间为序的体绘制方法首先根据每个数据点的函数值计算该点的不透明度及颜色值，然后根据给定的视平面和观察方向，将每个数据点的坐标由对象空间变换到图象空间；接着根据选定的光照模型，计算出每个数据点处的光强；然后根据选定的重构核函数计算出从三维数据点光强到二维图象空间的映射关系，得出每个数据点所影响的二维象素的范围及对其中每个象素点的光强的贡献；最后将不同的数据点对同一象素点的贡献加以合成。单元投影算法的主要步骤：For每一体素或单元DoFor该体素在视平面投影区域内的每一象素Do计算象素点获得的光强。面绘制的最大的特点是采用曲面造型技术，生成数据场等值面的曲面表示，再采用面光照模型计算出绘制图象。与面绘制相比较，体绘制的一个特点就在于放弃了传统图形学中体由面构造的这一约束，采用体绘制光照模型直接从三维数据场中绘制出各类物理量的分布情况。等值面、等势面、等数据场的几何面表示方法是研究者们为了适应图形显示，人为地提出的一种数据场表示形式。体绘制的根本点就在于放弃了这一做法，直接研究光线穿过三维体数据场时的变化，得到最终的绘制结果，所以有时体绘制也被称做直接体绘制。由于体绘制的这种直接性，非常符合人的视见过程，因此保留了大量的细节信息大大地提高了图象的保真度，这时图象质量已不在以来面地分割如何，而是集中在光照模型、绘制过程上。面绘制与体绘制比较面绘制要构造中间曲面表示，必然要通过域值或极值等方法提取出中间曲面，这就是被称为分割（Segmentation）的过程。由于目前的分割基本上还是一种二者择一的方法，缺少准确有效的方法。通过分割，许多三维数据场中的细节信息被丢失，有些分界面被扩大，结果的饱真性较差。体绘制由于直接研究光线通过体数据场时与体素的相互关系，无须构造中间面，体素中的许多细节信息得以保留，结果的饱真性大为提高。因而从结果图象的质量上讲，体绘制要优于面绘制。单从交