遥感图像处理_图像融合

遥感图像处理-图像融合©中国科学院遥感应用研究所背景随着遥感技术的发展，越来越多的不同类型遥感器被用于对地观测。这些多遥感器、多时相、多分辨率、多波段的遥感图像数据，各自显示了自身的优势和局限。为了更充分运用这些数据资源，数字融合技术应运而生。©中国科学院遥感应用研究所内容提纲概述遥感数据融合方法介绍遥感与非遥感数据融合方法介绍融合质量评估©中国科学院遥感应用研究所1、概述©中国科学院遥感应用研究所定义数据融合(Fusion,Merge)指同一区域内遥感数据之间或遥感数据与非遥感数据之间的匹配融合。多种遥感数据源信息融合是指利用多种对地观测技术所获取的关于同一地物的不同遥感数据，通过一定的数据处理技术提取各遥感数据源的有用信息，最后将其融合到统一的空间坐标系(图像或特征空间)中进行综合判读或进一步的解析处理。图像融合是一个对多遥感器的图像数据和其他信息的处理过程。着重于把那些在空间和时间上冗余或互补的多源数据，按照一定的规则进行运算处理，获得比任何一种数据更精确、更丰富的信息，生成一幅具有新的空间、波谱、时间特征的合成图像。©中国科学院遥感应用研究所数据融合的发展数据融合的概念始于70年代。进入20世纪90年代以后，随着多种遥感卫星的发射成功，从不同遥感平台获得的不同空间分辨率和时间分辨率的遥感影像形成了多级分辨率的影像金字塔序列，给遥感用户提供了从粗到精、从多光谱到高光谱的多种遥感数据源。融合的发展在一定程度上解决了多种数据源综合分析的问题。©中国科学院遥感应用研究所数据融合的发展1.起初是进行同种遥感数据多波段、多时相的数据融合，以提高遥感解译能力和进行动态分析。2.后来发展到不同类型遥感数据的融合，如陆地卫星与气象卫星、陆地卫星MSS与航天飞机成象雷达SIR－A、陆地卫星MSS与海洋卫星侧视雷达SAR，以及陆地卫星MSS与RBV等，以扩大应用范围，提高分析精度，获得更好的遥感应用效果。3.与此同时，人们越来越感到由于遥感本身以及实际应用中的局限性，要真正认识事物，并非遥感独家所能完成。它需要其它学科的支持，只有遥感与非遥感数据的融合，如与气象、水文数据，与重力、磁力等地球物理增息，与地球化学勘探数据，与专题地图数据，以及与数字地形模型（DTM）等数据融合，进行综合分析，才能更好地发挥作用。©中国科学院遥感应用研究所数据融合的目标空间分辨率的提高目标特征增强提高分类精度信息互补©中国科学院遥感应用研究所概述-图像融合的流程精确几何配准几何纠正全色几何纠正ZYaZYbZYc图像融合融合结果评价及利用预处理融合处理应用遥感图像融合流程图©中国科学院遥感应用研究所概述-图像融合的层次像素级特征级决策级对数据的抽象程度©中国科学院遥感应用研究所概述-图像融合的层次……图像融合的三级处理过程Image1Image2ImagenImage3图像几何纠正与精确配准像素级融合特征提取特征提取特征级融合决策级融合特征属性说明高层态势评估决策©中国科学院遥感应用研究所概述-图像融合的层次像元级线性加权法、IHS变换、PCA变换、高通滤波法、小波变换融合算法等。特征级Dempster-shafer推理法；聚类分析法；贝叶斯估计法；熵法；带权平均法；表决法及神经网络法等。决策级贝叶斯估计法；专家系统；神经网络法；模糊集理论；可靠性理论以及逻辑模板法等。©中国科学院遥感应用研究所数据融合的技术关键充分认识研究对象的地学规律。充分了解每种融合数据的特点和适用性。充分考虑到不同遥感数据之间波谱数据的相关性引起的有用数据的增加以及噪声误差的增加，因此对多种遥感数据作出合理的选择。几何配准，即解决遥感图像的几何畸变，解决空间配准问题。只有对地学规律、影象特征、成象机理这三者有深刻的认识，并把它们有机地结合起来，数据融合才能达到更好地效果。©中国科学院遥感应用研究所2、遥感数据融合方法介绍©中国科学院遥感应用研究所遥感数据融合遥感数据的融合主要指不同传感器的遥感数据的融合，以及不同时相的遥感数据的融合。融合方式的确定应根据目标空间分布、光谱反射特性及时相规律方面的特征选择不同的遥感图像数据，它们在空间分辨率、光谱分辨率和时间分辨率方面相互补充，以形成一个更有利的识别环境，来识别所要识别的目标或类型。©中国科学院遥感应用研究所遥感数据融合预处理影像配准是数据融合处理中的关键步骤，其几何配准精度直接影响融合影像的质量。通常情况下，不同类型的传感器影像之间融合时，由于它们成像方式的不同，则其系统误差类型也不同。如SPOT与TM数据融合时，SPOT的传感器是以CCD推帚式扫描成像的，而TM则是通过光机扫描方式成像的，因而不同类型影像进行融合时必须经过严密的几何校正，分别在不同数据源的影像上选取控制点，用双线性内插或三次卷积内插运算对分辨率较低的图像进行重采样，改正其误差，将影像投影到同一的地面坐标系统上，为图像配准奠定基础。©中国科学院遥感应用研究所像素级图像融合像素级融合是最低层次的图像融合，它将经过高精度图像配准后的多源影像数据按照一定的融合原则，进行像素的合成，生成一幅新的影像。融合的目的在于提高图像质量，提供良好的地物细节信息，直接服务于目视解译，自动分类。高空间分辨率的全色影像和高光谱分辨率的高光谱影像的像素级融合影像一般具有以下性质（Wald,1997）：融合影像空间特性应当和高空间分辨率的影像尽可能保持一致；融合影像的光谱特性应当和多光谱影像尽可能保持一致；融合影像的空间分辨率被降解到低分辨率时，必须和原来的影像保持一致。©中国科学院遥感应用研究所像素级数据融合的发展历程早期：代数运算法、彩色空间法等，以图像视觉增强为主要目的转变期：以高通滤波方法的出现为标志，开始注重数据融合的光谱保持能力当前：依赖先进的数学工具，在信号分析的基础上，进一步强调光谱保持能力©中国科学院遥感应用研究所当前像素级数据融合的研究特点研究工具：新的数学理论和计算智能理论研究手段：对已有方法进行组合、集成研究目标：以光谱信息提取为目标©中国科学院遥感应用研究所遥感数据常用的像素级融合方法代数法基于彩色空间变换的影像融合法基于主成分分析的影像融合法基于高通滤波影像融合法基于小波变换影像融合法基于小波的HIS影像融合©中国科学院遥感应用研究所代数法将低空间分辨率图像重采样成高空间分辨率图像传感器1影像数据传感器2影像数据空间配准对应像素代数运算融合影像数据常用代数法：（1）相乘：适用于SAR影像与光学影像；（2）相关系数加权法：适用于全色影像与多光谱影像。©中国科学院遥感应用研究所代数法-相关系数加权法以SPOT全色影像与TM多光谱影像融合为例；融合步骤：（1）对SPOT全色影像与TM多光谱影像进行图像配准；将多光谱影像进行重采样，使其大小和全色波段影像一致；（2）计算多光谱影像各波段与全色影像的相关系数：（3）按下式将全色波段图像的信息融合到多光谱图像各波段中miminjkknjminjkkkXjiXPjiPXjiXPjiPXP11121211)),(()),(()),(()),((),()],()),(1(),()),(1[(5.0),(jiXXPjiPXPjiXkkkk©中国科学院遥感应用研究所分量替换融合法多光谱数据LMS全色数据HRP正变换空间分量LRS光谱分量TC融合图像HMS逆变换空间分量HRS©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-彩色变换遥感图像融合方法的关键技术之一是彩色变换，下面首先简单介绍彩色变换。彩色变换又称为彩色编码，所谓彩色变换即为两种彩色模型编码系统之间的变换。彩色模型指的是某个三维彩色空间的一个可见光子集。它包含某个彩色域的所有彩色，彩色模型的用途是在某个彩色域内方便地指定彩色。由于任何一个彩色都只是可见光的子集，所以任何一个彩色模型都无法包含所有的可见光。©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-IHS彩色变换从色度学可知，颜色可用三基色来表示，例如，用红、绿、蓝所含成分的多少来表示颜色（即RGB系统）。颜色RGB编码具有方法简单，便于彩色显示和彩色扫描的优点。因此目前常用于彩色显示器和彩色扫描仪上。同样，颜色也可用色品度方式来表示，IHS系统是常用的一种色品度表示颜色的方式。其中:强度I仅表示照度的大小；色度H代表颜色色纯的程度；饱和度S代表具有相同明亮的颜色离开中性灰色的程度。©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-IHS彩色变换饱和度的概念可描述如下：假设你有一桶纯红的颜料，它对应的色度为0，饱和度为1。混入白色染料后使红色变得不再强烈，减少了它的饱和度，但没有使它变暗。粉红色对应于饱和度值为0.5左右。随着更多白色染料加入到混合物中，红色变得越来越淡，饱和度降低，最后接近于零（白色）。相反地，如果你将黑色染料与纯红色混和，它的亮度将降低（变黑），而它的色度和饱和度保持不变。IHS编码的优点是能把强度和颜色区分开。©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-IHS彩色变换下面介绍RGB系统与IHS三角形系统之间的彩色变换。正变换公式：BGRI)2.3(tan)1.3(06161626161313131222112121vvSvvHBGRvvI©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-步骤首先，必须将图像进行严格的几何校正，使不同的遥感图像在几何上能完全匹配，并且分辨率一致。将多波段图像由RGB彩色系统变换到IHS彩色系统中；用高分辨率的图像代替I分量，进行彩色逆变换，就可以得到融合图像©中国科学院遥感应用研究所基于彩色空间变换的影像融合法-流程用全色影像替代多光谱影像的I分量进行IHS反变换基于IHS的融合流程融合结果ZYcZYbZYaIHS变换提取I分量全色波段直方图匹配©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法北京地区资源一号卫星影像北京地区SPOT卫星PAN影像©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法IHS变换融合结果图©中国科学院遥感应用研究所基于彩色空间变换的影像融合法-光谱扭曲HIS融合模式多用于特征增强和特征差异大的数据间融合，提高多光谱图像的空间分辨率。适合于彩色图像处理，但可能融合结果的光谱特征会有扭曲。1、将低分辨率多光谱影像之尺寸调整至与高分辨率全色影像Pan相同。2、res1res2res111333IR2222G666B11022、.©中国科学院遥感应用研究所基于彩色空间变换的影像融合法-光谱扭曲3、使用全色影像Pan取代HIS的强度影像I.4、''1'211122RPan11G122B120'res'11res'22res1111112222RI+Pan-II+R+1111G11G+2222BB+120120（）PanI从（3）、（4）式可看出，融合后影像颜色值取决于全色影像与IHS变换后的I影像之差。©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-直方图匹配的意义新疆地区资源一号卫星影像新疆地区SPOT卫星PAN影像©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-直方图匹配的意义不进行直方图修正进行直方图修正©中国科学院遥感应用研究所基于彩色空间变换的影像融合方法-直方图匹配的意义原图不进行直方图修正进行直方图修