案例9图像拼接和图像融合

崔丽对来自多个传感器的多源信息进行多级别、多方面和多层次的处理和综合，从而获得更丰富、更准确、更可靠的有用信息。信息融合是一种多层次、多方面的处理过程，这个过程对多源信息进行检测、结合、相关、估计和组合，以达到精确的状态估计和身份估计记忆完整、及时的态势估计和威胁估计。——J.LlinasandW.Edward图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程。图像融合是是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率。图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像，融合为一幅图像，在一幅融合图像中能反应多重原始图像的信息，已达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。它综合了传感器、信号处理、图像处理和人工智能等技术的新兴学科。多源图像◦多传感器图像：成像机理不同的独立传感器获得的图像（不包括遥感图像）如前视红外图像和可见光图像CT图像和MRI图像前视红外线图像和毫米波雷达图像多源图像◦遥感多光源图像：成像机理不同的传感器或同种传感器不同工作模式获得的遥感图像如:SPOT卫星的多光谱图像和全色图像QuickBird卫星的多光谱图像和全色图像多源图像◦多聚焦图像：光学传感器的不同成像方式（指不同聚焦点）获得的图像多源图像◦时间序列（动态）图像：同种图像传感器以相同成像方式在离散时刻拍摄的图像图像配准、图像融合、特征提取、识别与决策图像融合分三个层次：◦像素级严格配准的条件下，直接进行信息综合。基于数据层面，主要完成多源图像中目标和背景信息的直接融合。最低层次的图像融合，准确性最高，能够提供其他层次处理所具有的细节信息。处理的信息量较大。◦特征级与处理和特征提取后获得的景物信息如边缘，形状，纹理和区域等信息进行综合与处理。中间层次信息融合，即保留了足够数量的重要信息，有可对信息进行压缩，有利于实时处理◦决策级根据一定的准则以及每个决策的可信度做出最优决策。最高层次的信息融合，实时性好，并且具有一定的容错能力。基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推断、识别。1.图像增强◦空间域增强点运算：线性变换，非线性变换，直方图均衡化，归一化。邻域运算：图像平滑，锐化◦频域增强塔式分解增强，Fourier变换增强，滤波◦彩色增强伪彩色增强，假彩色增强，彩色变换◦图像代数运算插值法，比值法，混合运算法，分辨率融合◦多光谱图像增强主成分分析，K-T变换2.图像矫正和配准◦基于灰度信息的图像配准基于灰度的一些统计信息来度量图像的相似度。优点简单易行，缺点计算量大，对噪声敏感。三种方法互相关法序贯相似度检测匹配交互信息法◦基于变换域图像配准方法图像间的平移，旋转，缩放在频域上有对应，对抗噪声有一定的鲁棒性2.图像矫正和配准◦基于特征的图像配准方法基于灰度和变换域有如下不足：受光照影响大，对灰度变换敏感搜索空间会出现很多局部极值点，涉及到阈值的设定处理信息量大，计算复杂度高对旋转，尺度变换以及遮掩等敏感基于特征的方法图像中特征数较少，特征间的匹配度量岁位置变动很大，可以利用图像轮廓特征间的几何约束关系，对干扰变形等有较强的适应能力——比如指纹中的特征点匹配，纹线匹配步骤：1）特征提取：特征点（角点，高曲率点），直线段，边缘，轮廓，闭合区域，特征结构以及统计特征，矩不变量，重心等2）特征匹配3）图像转换——完成图像整理变换1.互相关法：它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的成都，互相关最大时的搜索窗口决定了末班图像在待匹配图像中的位置。对图像I和一个尺寸小于I的模板T，归一化二维交叉相关函数定义如下：C(u,v)表示了模板在图像上位移(u,v)位置的相似成都2.基于变换域的图像配准1.平移检测clear;I=imread('cameraman.tif');%参数[25,30]可以修改，修改后平移距离对应改变,得到图像平移后图像TIse=translate(strel(1),[3525]);TI=imdilate(I,se);imshow(TI);%Fourier变换FI=fft2(I);FTI=fft2(TI);%相关量hgl=FI.*conj(FTI)./(abs(FI.*conj(FTI)));%逆Fourier变换得到deta函数deta=abs(ifft2(hgl));%显示突变点x=1:size(I,1);y=1:size(I,2);mesh(x,y,deta);%求出平移变换点[x0,y0]=find(deta==max(max(deta)));2.旋转变化子函数：极坐标转化functionPI=Car2PIm(I)%I=imread('standard_lena.bmp');[MI,NI]=size(I);M2=MI/2;N2=NI/2;PMax=round(sqrt(M2^2+N2^2))+1;PMin=sqrt(2);PI=zeros(PMax,361);fori=1:M2forj=1:N2p=sqrt(i^2+j^2);theta=atan(j/i);p=round(p)+1;%360*/PMaxtheta=round(theta*180/pi)+1;PI(p,theta)=I(i+M2,N2-j+1);PI(p,180-theta)=I(M2-i+1,N2-j+1);PI(p,180+theta)=I(M2-i+1,j+N2);PI(p,360-theta)=I(i+M2,j+N2);endend%imshow(PI,[]);%imwrite(PI,'Lena_cui.tif');clear;I=imread('cameraman.tif');%TI=imrotate(I,-30,'crop');%imwrite(TI,'RT.tif');TI=imread('RT.tif');TI=TI(:,:,1);%MFI=abs(fft2(I));%MFTI=abs(fft2(TI));PMFI=Car2PIm(I);PMFTI=Car2PIm(TI);hgl=fft2(PMFI).*conj(fft2(PMFTI))./(abs(fft2(PMFI)).*conj(fft2(PMFTI)));deta=abs(ifft2(hgl));x=1:size(PMFI,1);y=1:size(PMFI,2);%mesh(x,y,deta);[x0,y0]=find(deta==max(max(deta)));拼接图像边缘的融合艺术照片的效果◦照片做旧◦老照片翻新◦纹理映射◦电脑设计搞怪多光谱图像融合问题◦图像尺寸◦融合位置确定◦时域和频域的处理选择实际需要，大长照片拍摄和制作问题◦拼接位置定位算法——识别边界是否有平移旋转，要去掉这些带来的影响对于变形的处理，视点不同带来的影响，能否从图像中获取◦拼接后的边界融合选择合适的滤波器进行模糊化处理进而锐化处理，突出边缘，采用图像局部增强方法◦拼接图像大小处理是否涉及到图像的缩放预处理◦待融合图像局部大小统一，确定融合位置小波分解获得各个频段的信息对各个频段进行融合处理将处理后的频段，进行小波逆变换，重构图像——完成图像融合关键是融合函数的设计小波系数，高频逼近系数，低频融合决策改进，比如把点改为区域的，把单小波改为多小波。工具箱实现imagefusionDemo演示loadmask;X1=X;loadbust;X2=X;[XFUS,TXFUS,TX1,TX2]=wfusimg(X1,X2,'db2',5,'max','max','plot');subplot(1,3,1)imshow(X1,[]);subplot(1,3,2);imshow(X2,[]);subplot(1,3,3)imshow(XFUS,[]);低通如何融合高通如何融合设计融合函数找寻有趣图像进行融合%读入彩色图片im=imread('照片007.jpg');im1=imread('照片008.jpg');%变灰度图片imm=rgb2gray(im);imm1=rgb2gray(im1);%格式转换f=double(imm);g=double(imm1);%第二幅图的第一列g1=g(:,1);%第一幅图的每一列与第二幅图的第一列求距离，此处用的是列各点差的和fori=1:size(g,2)d(i)=sum(abs(f(:,i)-g1));end%求出最小距离者，即为对应最为相似的列m=min(d);%找出最相似列标a=find(d==m);%取出拼接相叠加的部分图像x=imm(:,a:size(imm,2));y=imm1(:,1:(size(imm,2)-a+1));figureimshow(x);figureimshow(y);%模极大值找边缘，分别对两个待拼接图像的重叠部分进行求边缘运算。[ed,tang]=waveedge(x,0.1);[ed1,tang1]=waveedge(y,0.1);h=tang-tang1;theat=hist(h);%求拼接部分角度差的众数%z=mode(mode(theat));%进行旋转z=7;rotate=imrotate(imm1,z);%重新规划图像大小r=imresize(rotate,1/4);%z由角度变弧度z=z/360*(2*pi);[m,n]=size(g);%图像矫正——旋转fori=1:mforj=1:nA(i,j)=round(abs(i*cos(z)-j*sin(z)));B(i,j)=round(abs(i*cos(z)-j*sin(z)));endend%旋转后的拼接过程fori=1:mforj=1:nifA(i,j)==0x=1;elseifA(i,j)=mx=m;elsex=A(i,j);endendifB(i,j)=ny=n;elseifB(i,j)==0y=1;elsey=B(i,j);endendF(i,j)=g(x,y);endendF=uint8(F);F=imresize(F,1/4);figure;imshow(F)rotate=[];fori=1:size(g,1)forj=1:size(g,2)rotate(i,j)=[cos(z)-sin(z);sin(z),cos(z)]*([g(i,j)])';endendimshow(uint8(rotate));%小波变换检测法，输入变量I为原始图像，T为阈值%返回值：ed为边缘，tang为边缘点的角度记录。function[ed,tang]=waveedge(I,T)X=double(I);s1=size(X,1);s2=size(X,2);%多尺度m=1.0;dt=2^m;%构造高斯函数的一阶导数N=20;%高斯滤波器长度，支集范围A=-1/sqrt(2*pi);%幅度fori=1:N;forj=1:N;x=i-(N+1)/2;y=j-(N+1)/2;fx(i,j)=A*(x/dt^2).*exp(-(x.*x+y.*y)/(2*dt^2));fy(i,j)=A*