第7讲 医学图像配准和融合

MedicalImageregistrationandfusion11.配准融合技术概述2.医学图像配准技术3.图像图像融合技术理论方法评估方法评估背景意义医学影像设备在最近十年中得到迅速的发展，并广泛应用于临床诊断和治疗中。由于成像的原理和设备不同，存在有多种成像模式（解剖成像、功能成像）。3对人脑可用多种模式成像解剖图像：提供解剖形态信息，分辨率高功能图像：提供功能代谢信息，分辨率差二者结合：在一幅图像中同时表达来自人体多方面的信息，使人体内部结构和功能等状况能通过影像反映出来，直观提供人体解剖生理病理信息。于是出现了配准和融合技术，配准是融合的先决条件4外科手术术前病灶精确定位放疗计划CT图像精确计算放射剂量、MR图像描述肿瘤结构，PET对代谢、免疫及生理方面进行识别，配准融合后图像用于改进放疗计划、立体定向活检、手术癫痫病治疗观察炎症、脑外伤、硬化症等变化、病灶精确定位56配准（imageregistration）的概念•医学图像配准是指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。、•目的：将多种成像模式或同一种模式得到的多幅图像综合分析，更好的了解组织情况•解决的问题：几幅图像的严格对齐几幅图像信息综合的结果称作图像的融合（imagefusion）。利用图像融合技术，将多种图像结合起来，利用各自的信息优势，在一幅图像上同时表达来自人体的多方面信息，使人体内部的结构、功能等多方面的状况通过影像反映出来，从而更加直观地提供人体解剖、生理及病理等信息。图像配准技术是图像融合的先决条件78图像配准示意图配准实现过程：1.获得特征图像：不同角度，不同位置，反映某些方面的特征2.图像配准：通过空间变换（移动和旋转），使两幅图像对齐3.图像融合：得到整体特征图像9实例：按维数：2D、3D按摸态：单、多按变换性质：按用户交互性：自动、半自动、交互按配准所基于图像特征：外、内按变换参数确定的方式：公式、最优解按主体分：同一患者、不同患者、患者与图谱1011刚体变换：指物体内部任意两点间的距离及平行关系保持不变（处理人脑图像，对不同方向成像的图像配准常使用刚体变换）仿射变换：保持平行性，但距离发生变化，直线还是直线（校正成像设备的误差产生的畸变）投影变换：直线映射成直线，平行性和两点间的距离变化（二维投影图像与三维图像的配准）弯曲变换：直线变成曲线(解剖图谱变形拟合图像数据)12单模配准的典型应用：（1）不同MR加权像间的配准T1加权像T2加权像质子密度加权像不同组织表现不同强度信息互补（2）电镜图像序列的配准不同时间采集的多幅图像（时间序列图像）粒子移动，形态变化研究生长现象13单模配准的典型应用：（3）fMRI图像序列的配准（4）胸腹部脏器的图像配准不同时刻的三维脏器图像四维图像分析时间序列图像，大脑活动会产生氧摄取量和血流间的不平衡MRI图像测得信号的改变解决：参考点位置确定（定位问题）运动过程中的局部变形和噪声问题14多模医学图像配准：待配准的两幅图像来源于不同的成像设备。解剖图像：CT：对密度差异较大的组织效果好MRI：可识别软组织较高的空间分辨率功能图像：SPECT/PET：能反映人体的功能和代谢信息空间分辨率差一般临床上的应用：CT（或MRI）和SPECT（或PET）的综合分析，同时提供功能和解剖信息15多模医学图像配准：难点：由于扫描设备的原理不同，两种断层图像间并不存在简单的一一对应关系人脑MR/PET图像配准上排：轴向图；中间：矢状图；下排：冠壮图左：PET图像；中：MRI图像；右：融合图像16不同对象的图像配准被试图像典型正常图像疾病的典型图像对比是否出现异常是否属于同类难点：不同对象形状、大小、位置差异方法：1）确定一个共同的标准。要求有一个详细标记人体各个解剖位置的计算机化标准图谱，如Talairach标准空间，把两幅图像分别映射到图谱，再比较17Talairach人脑图谱对两个病人的PET或MR图象进行比较，首先把二者的图像都映射到这个共同的参考空间，然后再比较不同对象的图像配准方法：胼胝体18用非线性变换法配准不同人脑表面沟回2）非线性形变法将三维图像逐渐变形，最终较好的与另一个三维图像匹配不同对象的图像配准方法：19图像与图谱配准或与物理空间配准在手术导航系统中解决图像像素与实际物理空间的位置配准图像空间立体定向装置、人体实体空间坐标变换实现方法：每一幅待配准的图像都与定义图像空间的坐标系有关。一般情况下，图像配准都是基于几何变换的，即寻找一幅图像空间X中的点（用列向量x表示）与另一幅图像空间Y中的点（用列向量y表示）之间的映射。X经T变换后得到点x΄，即：x΄=T(x)如果y与x是对应点，则成功的配准应该使得x΄等于或近似等于y，若两者之间的差值T(x)-y非零，则说明存在配准误差。根据空间变换T的形式不同，可将其分为刚体变换和非刚体变换两种形式。2021图像的变换模型：•刚体变换（二维刚体变换、三维刚体变换）•全局尺度变换•仿射变换（9参数仿射变换、一般仿射变换）•透视变换*•非线性空间变换*22医学图像配准在大多数情况下是采用刚体变换模型。人体的很多组织可以近似为刚体，如骨头、由颅骨固定的大脑等刚体变换：平移、旋转刚体变换物体内部两点间的距离和角度保持不变23①二维刚体变换：沿x轴平移：向右平移p为正向左平移p为负矩阵公式：11*1*0*01*0*1*01**0*11100010011''ypxyxyxpyxyxpyx变换公式：yypxx''其中x’与y’是平移后的结果从（x,y)变到新坐标系（x’,y’)24沿y轴平移：向上平移q为正向下平移q为负矩阵公式：11*1*0*01**1*01*0**11100100011''qyxyxqyxyoxyxqyx变换公式：qyyxx''其中x’与y’是平移后的结果25绕坐标原点旋转：矩阵公式：1coscoscossincossincos1*1*0*01*0*cos*sin1*0*sin*cos11000cossin0sincos1''yxyxyxyxyxyxyx变换公式：cossin'sincos'yxyyxxcosxxtgyxtg(1,1)xy(1',1')xyXYX'Y'26复合变换：不同顺序的变换得到的结果是不同。先沿x轴平移，再沿y轴平移，最后绕原点旋转110001001100100011000cossin0sincos1''yxpqyx先绕原点旋转，再沿y轴平移，最后沿x轴平移11000cossin0sincos10010001100010011''yxqpyx27举例：设刚体变换先绕坐标原点旋转10°，再沿x轴平移4个单位，然后沿y轴平移9个单位110049848.01736.091736.09848.011000)10cos()10sin(0)10sin()10cos(1000104011009100011''0000yxyxyx设刚体变换先沿x轴平移4个单位，再沿y轴平移9个单位，然后绕坐标原点旋转10°11001688.89848.01736.05016.51736.09848.011000104011009100011000)10cos()10sin(0)10sin()10cos(1''0000yxyxyx2811000103764.2011005579.9100011000)10cos()10sin(0)10sin()10cos(110049848.01736.091736.09848.01''0000yxyxyx对于一个给定的变换结果，可以有许多不同的变换途径先沿X轴平移2.3764个单位再沿Y轴平移9，5579个单位最后绕坐标原点旋转10度29②三维刚体变换：沿x轴平移向右平移p为正向左平移p为负矩阵公式：111000010000100011'''zypxzyxpzyx变换公式：zzyypxx',''其中x’,y’,z’是平移后的结果30沿y轴平移：向上平移q为正向下平移q为负矩阵公式：变换公式：zzxxqyy',''111000010001000011'''zqyxzyxqzyx其中x’,y’,z’是平移后的结果31沿z轴平移：向前平移r为正向后平移r为负矩阵公式：变换公式：yyxxrzz',''111000100001000011'''rzyxzyxrzyx其中x’,y’,z’是平移后的结果32绕坐标轴旋转：绕x轴旋转：1cossinsincos110000cossin00sincos000011'''zyzyxzyxzyx绕y轴旋转：'cos0sin0cossin'0100'sin0cos0sincos1000111xxxzyyyzzxz绕z轴旋转：1cossinsincos11000010000cossin00sincos1'''zyxyxzyxzyxxyz33复合变换：结合先旋转、后平移，及先平移后旋转，共有12种不同的组合顺序。对于先旋转后平移有：110000cossin00sincos0000110000cos0sin00100sin0cos1000010000cossin00sincos10001000100011'''zyxrqpzyx与二维复合变换相同，不同顺序的变换得到的结果是不同;对于一个给定的变换结果，可以有许多不同的变换途径34全局尺度变换在刚体变换基础上增加一个新参数m，使图像全局缩放m倍