医学图象三维表面重建技术研究博士生秦绪佳导师欧宗瑛教授

医学图象三维重建及可视化技术研究秦绪佳浙江大学CAD＆CG国家重点实验室2001.9.281绪论1.1引言1.2基于三维数据的建模与可视化1.三维数据的来源与分类2.三维数据建模及可视化研究内容数据预处理建模绘制与显示3.数据建模技术综述三维几何模型基于三维数据的建模方法1)基于断层轮廓的表面重建2)基于体素的等值面重建3)几何变形模型4)体素建模1.3医学图象三维重建技术综述1医学图象的预处理2医学图象的分割3三维重建方法4模型的网格简化1.4医学图象三维重建在医疗中的应用1在医疗诊断中的应用2在手术规划及放射治疗规划中的应用3在整形与假肢外科中的应用4在虚拟手术及解剖教育中的应用1.5论文背景及主要工作1论文背景及研究意义2本文的主要工作1)图象预处理，组织器官分割与提取2)MC、MT算法构建表面几何模型3)模型表面网格简化，剖切与开窗4)由表面几何模型转换成实体几何模型5)适用于适形放射治疗规划的医学图象三维重建系统的开发2医学图象预处理与人体组织的分割医学图象预处理分割流程图2.1三维医学图象分割流程2.2CT、MRI图象的获取与输入2.2二维图象处理与规则体数据封装1二维图象滤波(1)邻域平均法(2)中值滤波法(3)保持边缘滤波法2断层图象间插值3三维规则体数据封装(1)内存记录方式(2)体数据文件格式图2.4体数据内存记录方式2.3交互分割过程1三维图象二值化其余若0),,(1),,('21qzyxfqzyxf二值化结果图2.8断层图象二值化结果2数学形态学操作进行区域修整(1)二值形态学操作简述(a)原图象(b)结构元素(c)对原图象的腐蚀(d)对腐蚀图象的膨胀图2.9开启操作(a)原图象(b)结构元素(c)对原图象的膨胀(d)对膨胀图象的腐蚀图2.10闭合操作3种子填充法进行组织提取图2.12交互分割结果图2.13对分割区域的重建3基于规则体数据的三维表面模型的构建3.2.1体素模型(a)方向无关的三线性插值模型(b)方向有关的三线性插值模型图3.1体素模型3.2.2等值面（IsoSurface）定义1三线性插值结果2等值面定义xyzazxayzaxyazayaxaazyxf76543210),,(是常数cczyxfzyx},),,(|),,{(等值面是三次曲面3.3移动立方体（MarchingCubes）算法抽取等值面1MC算法的基本原理a体素中等值面剖分方式的确定1）如立方体顶点的数据值≥等值面的值，则定义该顶点位于等值面之外，记为“0”；2）如立方体顶点的数据值＜等值面的值，则定义该顶点位于等值之内，记为“1”。8个顶点，每个顶点共有2个状态，因此共256种组合状态根据互补对称性,256128根据旋转对称性，25615(1)体素中由三角片逼近的等值面计算(2)三角片各顶点法向量计算2等值面连接方式上的二义性(a)连接方式二义性的二维表示(b)连接方式二义性的三维表示图3.5拓扑不一致造成孔隙图3.4MC方法的二义性3.3.3渐近线判别法消除二义性3.3.4MC算法的重建结果及分析(a)256×256×109MRI表皮重建（b）128×128×93CT颅骨重建（c）128×128×93CT表皮重建三角面片：696889顶点：347322三角面片：187559顶点：94015三角面片：137799顶点：69331图3.8MC算法重建的表面模型3.4移动四面体（MarchingTetrahedra）算法抽取等值面3.4.1MT算法的基本原理图3.9立方体的四面体剖分图3.10四面体中的等值面3.4.2四面体剖分的一致性处理图3.11立方体剖分为四面体的不同方式图3.12两相邻立方体剖分不一致时共有面的剖分情况图3.13相邻立方体公共面上的剖分一致性3.4.3相关性处理加速MT重建速度1体素内的相关性处理2体素间的相关性处理图3.14剖分后立方体的顶点及棱边编号3.4.4MT算法的重建结果及分析(a)128×128×113CT颅骨重建（b）104×185×220CT脚骨骼重建(c)128×128×113CT表皮重建三角面片：423998顶点：211905三角面片：365858顶点：183056三角面片：331290顶点：165808图3.15MT算法重建的表面模型4.三维模型的网格简化与模型的剖切4.2基于边收缩的网格简化算法1网格简化算法简述（1）抽样（Sampling）（2）自适应细分(Adaptivesubdivision)（3）删除(Decimation)（4）顶点合并（Vertexmerging）2基于边收缩的网格简化算法Hoppe采用显式能量函数E（M）来度量简化网格与原始网格的逼近度［Hoppe96］：其中Edist(M)为M的距离能量，它定义为点集到网格的距离平方：Espring(M)为弹性能量，这相当于在的每条边上均放置一条弹性系数为k的弹簧，即：Escalar(M)度量M的标量属性的精度，而Edisc(M)则度量了M上视觉不连续的特征线（如边界线、侧影轮廓线等）的几何精度。)()()()()(MEMEMEMEMEdiscscalarspringdistnividistKxdME12|))(|,()(KjijispringvvkME},{2||||)()()(MEMEE边收缩过程示意图(a)收缩前(b)收缩后图4.1边收缩过程4网格简化结果MT重建结果简化50％简化90％简化90％表面绘制MC重建结果简化50％简化85％简化85％表面绘制4.3三维模型的剖切4.3.1模型三角面片的剖切处理1平面方程的确定ax+by+cz+d=02三角面片与剖切平面的求交检测定义空间一点P（X,Y,Z）,定义“距离”D：D=aX+bY+cZ+d则有：1）若D＞0，P点处在A半空间；2）若D＝0，P点处在平面上；3）若D＜0，P点处在B半空间。图4.6切面与三角面片的交3三角面片与剖切面的切割运算4表面模型的剖切(1)边表和顶点表均为动态链表结构(2)表面模型的剖切计算classCedgeclassCedgeVertex4.4剖切截面的生成4.4.1边界多边形包含关系检测与确定1封闭环的检出2封闭轮廓的包含性检测夹角之和检验法:0n1iinii124.4.2剖切面区域的三角剖分1.任意平面多边形Delaunay三角剖分示意图图4.11图4.7对应轮廓的三角剖分4.5手术开窗操作开窗操作一般是用立方体或棱柱对重建模型进行切割，模型处于剖切体之内的部分被切割掉，之外的部分被保留下来。4.6实验结果分析图4.12模型的剖切与开窗(a)剖切(b)开窗(c)开窗5由基于轮廓重建的表面模型构建实体几何模型5.1引言5.2相关工作（1）提取边界轮廓线（2）提取轮廓线上的特征点（3）轮廓对应（4）三维表面重建（a）轮廓线（b）基础轮廓表面模型（c）左分支表面模型（d）右分支表面模型图5.3轮廓及表面子模型5.3实体几何模型的构建1边界模型的数据结构图5.4系统B-rep模型的数据结构及半边的结构示意2实体造型的基本操作欧拉特征关系：其中v、e、f、s、h分别代表顶点、边、小面、壳和孔。基本的欧拉操作包括如下互逆的5对：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示构造，K表示删除，S、E、V、F、R、H分别表示体、边、顶点、面、环、孔。)(2hsfevrhsfev)(23由轮廓重建的表面模型重建实体几何模型的方法用图5.10(a)的表面模型说明构建实体的主要步骤：(a)(b)（b）光照图图5.11实体模型（a）线框图实体几何模型的构建结果6适用于适形放射治疗规划的医学图象三维重建系统的开发图象输入二维图象预处理图象分割与提取三维重建（CT/MRI）（滤波、插值）（自动分割、手工勾画）（MC、MT表面重建）病变体投影轮廓照射射束设置效果显示几何操作（由此计算光栅廓线）（放射治疗规划）（颜色、半透明）（剖切、手术开窗）图6.1三维重建过程示意图重建系统结构图6.2系统结构系统程序流程图6.3系统程序流程系统数据结构图6.4系统数据结构系统界面治疗射束安排与光栅轮廓线计算7结论与展望7.1工作总结(1)对输入图象进行了滤波、断层插值并封装成规则体数据。定义了体数据的内存记录方式及外存文件格式，压缩存储空间。(2)提出并实现了三维医学图象交互分割的方法，交互分割的技术路线是：先分析断层图象，交互给定分割阈值，对图象二值化，然后选择适当的形态学操作进行区域修整，最后用种子填充的方法填充出所要区域。(3)实现了MC算法和MT算法构造表面模型。针对MT算法，为避免体元棱边与等值面交点的重复性插值计算，提出了相关性处理方法。采用相关性处理，加快了MT算法的重建速度。(4)实现了Hoppe的边收缩算法，重建模型经简化90％，依然能较好地保持原模型特征，基本不影响视觉效果。模型经网格简化，绘制时间大大缩短，提高了交互时绘制能力。(5)提出了对重建模型实施剖切及手术开窗的一种方法。(6)提出了基于轮廓重建的表面模型构建实体几何模型的方法实现步骤。可作为造型系统的一种造型方式。(7)开发了一个适用于多叶光栅适形调强放射治疗的医学图象三维重建系统。提出并建立了系统数据结构，提出了自动分割与手工勾画轮廓的方法。对分割出的组织重建其三维几何模型，并对模型实现了网格简化。实现了治疗射束的设置及多叶光栅轮廓的计算。7.2展望（1）基于知识模型的医学图象的分割（2）多模态图象的匹配和融合（3）表面绘制与直接体绘制的结合（4）虚拟手术工作环境谢谢大家光临！