图像识别技术发展状况及前景

医学图像配准技术罗述谦综述首都医科大学生物医学工程系(100054)吕维雪审浙江大学生物医学工程研究所(310027)摘要医学图像配准是医学图像分析的基本课题,具有重要理论研究和临床应用价值。本文较全面地介绍了医学图像配准的概念、分类、配准原理、主要的配准技术及评估方法。关键词医学图像配准多模1医学图像配准的概念在做医学图像分析时,经常要将同一患者的几幅图像放在一起分析,从而得到该患者的多方面的综合信息,提高医学诊断和治疗的水平。对几幅不同的图像作定量分析,首先要解决这几幅图像的严格对齐问题,这就是我们所说的图像的配准。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相的空间位置。配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。医学图像配准技术是90年代才发展起来的医学图像处理的一个重要分支。涉及“配准”的技术名词除registration外,mapping、matching、co-registration、integration、align-ment和fusion等说法也经常使用。从多数文章的内容看,mapping偏重于空间映射;fu-sion指图像融合,即不仅包括配准,而且包括数据集成后的图像显示。虽然在成像过程之前也可以采取一些措施减小由身体移动等因素引起的空间位置误差,提高配准精度(称作数据获取前的配准preacquisition),但医学图像配准技术主要讨论的是数据获取后的(post-acquisition)配准,也称作回顾式配准(retrospectiveregistration)。当前,国际上关于医学图像配准的研究集中在断层扫描图像(tomographicimages,例如CT、MRI、SPECT、PET等)及时序图像(timeseriesimages,例如fMRI及4D心动图像)的配准问题。2医学图像基本变换对于在不同时间或/和不同条件下获取的两幅图像I1(x1,y1,z1)和I2(x2,y2,z2)配准,就是寻找一个映射关系P:(x1,y1,z1)(x2,y2,z2),使I1的每一个点在I2上都有唯一的点与之相对应。并且这两点应对应同一解剖位置。映射关系P表现为一组连续的空间变换。常用的空间几何变换有刚体变换(Rigidbodytransformation)、仿射变换(Affinetransformation)、投影变换(Projec-tivetransformation)和非线性变换(Nonlin-eartransformation)。(1)刚体变换:所谓刚体,是指物体内部任意两点间的距离保持不变。例如,可将人脑看作是一个刚体。处理人脑图像,对不同方向成像的图像配准常使用刚体变换。刚体变换可以分解为旋转和平移:P(x)=Ax+b(1)x=(x,y,z)是像素的空间位置;A是3×3的旋转矩阵,b是3×1的平移向量。矩阵A满足约束条件:ATA=Idet1=1(2)AT是矩阵A的转值,I是单位矩阵。(2)仿射变换:当(2)式的约束条件不满足时,方程式(1)描述的是仿射变换。它将直线映射为直线,并保持平行性。具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换及剪切变换等。均匀尺度变换多用于使用透镜系统的照相图像,在这种情况下,物体的图像和该物体与成像的光学仪器间的距离有直接的关系,一般的仿射变换可用于校正由CT台架倾斜引起的剪切或MR梯度线圈不完善产生的畸变。(3)投影变换:与仿射变换相似,投影变换将直线映射为直线,但不再保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。(4)非线性变换:非线性变换也称做弯曲变换(curvedtransformation),它把直线变换为曲线。使用较多的是多项式函数,如二次、三次函数及薄板样条函数。有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。3医学图像配准的类型根据成像模式的不同,以及配准对象间的关系等,医学图像配准可有多种不同的分类方法。3.1按成像的模式分类由于成像的原理和设备不同,存在有多种成像模式(imagingmodalities)。从大的方面来说,可以分为描述生理形态的解剖成像模式(anatomicalimagingmodality)和描述人体功能或代谢的功能成像模式(functionalimagingmodality)。表1给出几种主要的成像模式。(1)单模(monomodality)医学图像配准:是指待配准的两幅图像是用同一种成像设备获取的。单模医学图像配准的典型应用如下。①不同MR加权像间的配准:由于使用的射频脉冲序列以及成像参数的设置不同,磁共振图像会有很大的不同。对自旋回波(SpinEcho)脉冲序列主要有三种不同类型的磁共振图像,即T1加权像、T2加权像及质子密度(PD)加权像。人体不同的组织在这些图像上表现为不同的强度。例如,很多肿瘤、炎症及病灶都会增加组织中的自由水成分,在T1加权像中表现为低强度;而骨、纤维及钙化组织不含自由水,在T2加权像中呈低强度;亚急性出血在T1和T2像中同时表现为高强度等。不同加权MR图像的信息可以互补,临床上,它们的结合可提供更全面的诊断信息。配准后的图像还可用于脑内组织的分类(如白质、灰质及CSF等)。由于该分类方法的原理与利用卫星遥感图像处理地面资源的方法相似,这种分类方法又称做多谱医学图像分析。②电镜图像序列的配准:在不同时间采集的多幅物体图像,构成沿时间轴的2D/3D图像的集合,称为时间序列图像。生物医学方面,在显微镜下观察组织结构,可分析微生物、细胞和亚细胞粒子的移动及其引起的形态变化,研究它们的生长和变态现象。对系列微循环图像分析还可得到微血流变化的情况。③fMRI图像序列的配准:fMRI(功能磁共振成像,functionalMRI)也是时间序列图像。大脑活动过程中,会产生氧摄取量与脑血流间的不平衡,这种不平衡必然会引起脑血管周围MRI信号的改变。在对磁场不均匀性很敏感的MRI图像序列中就可以测得这些信号的改变。由于该方法无须对比增强剂,也无辐射剂量,又能反映脑功能,因此在神经科学的认知研究中得到普遍的重视。功能测试要求受试者做出某种反映,很大程度上会引起头部的移动,产生伪像。因此,在fMRI序列图像研究中图像配准更是严重的问题[11]。④脑、腹部脏器的图像配准:如果被分析的图像本身就是3D图像,这样的图像序列就成为4D图像,例如4D心动图像分析。要进行定量的分析,往往要求确定各幅图像中的公共参考点位置,即要解决图像定位问题。还要解决目标物体处于运动过程可能存在的局部变形和严重的噪声问题,例如在心动周期中的不同时刻,心脏的形状、大小、位置都会发生变化,介于3D图像间的时间插值图像是常用的方法。(2)多模(multimodality)医学图像配准:是指待配准的两幅图像来源于不同的成像设备。例如,CT和MR图像都有较高的空间分辨率,前者对密度差异较大的组织效果好,后者则可识别软组织;SPECT、PET能反映人体的功能和代谢信息,但空间分辨较差。因此在临床应用中,常需要将CT(或MR)与SPECT(或PET)配准。二者的结合能够同时提供功能的与解剖的信息,具有临床应用价值。由于扫描设备的原理不同,扫描参数条件各异,所以两种断层图像间并不存在着简单的一一对应关系。多模医学图像配准是医学图像配准的重点研究课题。在PET与MR图像的配准问题中,目前国际上用的较多的是AIR法(AutomaticImageRegistration)、准标法(FiducialMarks)和双模板变换法。最近,最大互信息法又倍受推崇和关注。3.2按受试对象分类待配准的图像可以是同一个人的,属于患者自身图像配准(intra-subject)。对同一病人在不同时间获取同一器官或解剖部位的图像,可以用于对比,从而监视疾病的发展及治疗过程。如果没有局部的组织切除,这种配准一般用刚体变换就可以了。除此之外,有时要将被试者的图像与典型正常人相同部位的图像对比,以确定被试者是否正常;如果异常,也许还要与一些疾病的典型图像对比,确定患者是否属于同类。这些都属于不同人间的图像配准(inter-subject)[8]。由于个体解剖的差异,后者的配准显然要难于前者。3.3图像与图谱配准(AtlasMethod)或与物理空间配准由于不同人在生理上存在差异,同一解剖结构的形状、大小、位置都会很不相同,这就使不同人的图像配准问题成为当今医学图像分析中的最大难题。在对比和分析不同的医学图像时,很难精确找出对应的解剖信息。这要求有一个详细标记人体各个解剖位置的计算机化的标准图谱。常见的方法大致有两类:一是借助一个共同的标准来比较,例如要对两个病人的PET或MR图像进行比较,首先要把二者的图像都映射到一个共同的参考空间去,然后在此空间中对二者进行比较,目前使用较多的是Talairach标准空间,可以对不同的人脑图像进行比较;二是非线性形变法,模仿弹性力学方法,将一个人的3D图像逐步变换,使它最终能较好地与另一个人的3D图像最佳匹配。在立体定向装置或图像引导的手术导航系统中[18],则是将图像像素与物理空间中探针或手术器械或实况摄像的位置配准。4医学图像配准方法4.1配准原理医学图像的配准过程本质上是一个多参数最优化问题。用的较多的是使两个图像对应像素特征值差值平方和最小化。一般可用Gauss-Newton最优化算法实现。设di(p)是两个图像上体素I间的差值,p是参数向量,t是参数向量的增量,使用Taylor公式可得:关于参数p的迭代公式:其中更广义的情况是对两组参数优化,除空间变换(ps)外,还对强度变换(pt)优化。其中f是物体图像,xi是第i个采样值的坐标,s是描述参数为ps的空间变换的向量函数,t是描述参数为pt的强度变换的标量函数。较简单的情况是空间变换包括12个参数,若模板图像g,强度变换只是简单的换算关系,则t(xi,pt)等于p13g(xi)。比如说我们的目标是使图像f与另一图像g配准,后者称作模板图像(templateim-age)。仿射变换有12个参数(p1到p12),二者的强度换算系数是p13。于是,从图像f的像素x变换到图像g的点y:用矩阵符号可表示为y=Mx。最小化函数为:但是,一个图像的强度并不总是按线性规律随另一图像变化的,有时须使用多项式函数,使用二次函数的最小化函数为:∑i(f(xi,ps)-(p13g(xi)+p14g(xi)2))2若强度还随空间位置变化,例如MRI扫描设备的空间不均匀性,则待最小化的函数为:∑i(f(xi,ps)-(p13x1ig(xi)+p14x2ig(xi)+p15x3ig(xi)))2根据不同的配准问题,需要选用不同的相似性测度,并极大化测度。这仍然是多参数优化问题。4.2主要配准方法(1)点法(PointMethod):又分内部点(Intrinsicpoints)及外部点(Extrinsicpoin-ts)。内部点是从与病人相关的图像性质中得到的,如解剖标志点(anatomicallandmarkpoints)。解剖标志点必须是在三维空间定义的,并在两种扫描模式的图像中可见。典型的解剖标志点可以是一个点状的解剖结构,例如:耳蜗尖端拐点处;两个线形结构的交点;血管的分叉或相交处;某一表面上特定拓扑属性;一个沟回的可识别部分等。外部点则是在受试者颅骨嵌入的螺钉、在皮肤上做的记号或其他在两幅图像都可检测到的附加标记物,例如充有硫酸铜的管子、玻璃珠、铬合金珠、明胶球等。原则上外部点法可用于配准任何模式的图像,而且外部点在医学图像中要比内部点好识别得多,通过比较图像中记号的位置对配准结果也易于视觉检测;缺点是在使用这些记号时,受试者都要在扫描装置内严格保持不动,有些还是介入性的。相比起来,内部点法则对受试者比较友好,而且是全回顾式配准;缺点是内部点的寻