北大医学数字图像处理2.6K-L变换与图像压缩

2.6K-L变换与图像压缩KARHUNENLOEVE(KL)TRANSFORM(HOTELLINGTRANSFORM)K-L变换是建立在图像统计特性的基础上，假如分批处理的图像的统计性质不同，就对应不同的变换核矩阵。这与我们以前介绍各种变换是不同的，它们的变换核是固定不变的K-L变换的优点是相关性好，应用在数据压缩和图像旋转等方面。2.6.1正交变换和消除相关性[2,6]设一组L个如下形式表示的随机向量：12kkTkkkNXxxx⎡⎤=⎣⎦L＝1,2,...,L例1、有如下的4个向量[][][][]1342000100110101TTTTXXXX====由L个样本向量来估计其均值向量：{}[]0113114LTXkkMEXXL====∑其中E表示“求期望”，下标x表示MX所对应的一组随机向量，是由上述各矢量的对应3个分量组成的3个新矢量(每一个矢量有四个元素)。1与该组随机向量对应的协方差矩阵为()(){}11112121222121LTTTXXXkkXkNNNNNNEXMXMXXMMLσσσσσσσσσ=Σ=−−=−⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦∑LLMMMLX元素iiσ：各向量的第i个分量组成的向量iX的方差；元素ijσ：第i个分量组成的向量iX和第j个分量组成的向量jX之间的协方差。因为X是N阶的，所以XΣ是N×N阶的，对本例的5个元素：()[]()[]()111112233441111111121122334412121212112233443232323232=1113*30*01*11*11*1416=1213*13161160*01*01*11*0416=3210*00*014111mmxxxxxxxxLLmmxxxxxxxxLLmmxxxxxxxxLLσσσ=+++−=+++−+++++−+++−+++−＝＝＝[][][]1*1*00*11611*1=0*0+0*0+0*0+161*13341611*1=0*0+0*0+1*0+0*123146σσ+−=−=−=1163611−−故有：20000ac11121321222331323331111300116113Xbσσσσσσσσσ⎡⎤⎡⎤⎢⎥⎢⎥Σ==−⎢⎥⎢⎥⎢⎥⎢⎥−⎣⎦⎢⎡⎤⎢⎥≠⎢⎥⎢⎢⎣⎦⎥⎥⎣⎥⎦可见：♥由各向量对应3个分量组成的3个新向量具有相同的方差；♥新向量和，和是正相关；1x2x1x3x♥和是负相关。2x3x„协方差矩阵对角化用统计学方法描述图像，各分量之间的相关性将会大大增加图像生成和图像处理过程中的误差。有效消除这些相关性是一个基本的任务。也就是说，我们应该设法将协方差矩阵的非对称元素化为零元素，就是设法将协方差矩阵对角化。如何做？？？线性代数证明，对于一个实对称矩阵Σ（即TΣ=Σ）的矩阵，必存在一个正交矩阵Q，使得[]12112000000TNNQQQQdiagλλλλλλ−⎡⎤⎢⎥⎢⎥Σ=Σ===⎢⎥⎢⎥⎢⎥⎣⎦LLLMMOMLΛ其中对角矩阵Λ中的NλλλL21是实对角矩阵Σ的N个特征根。这给我们一个重要启示：3Σ通过正交变换能够将协方差矩阵（实对称矩阵）对角化，从而消除图像的相关性！！通过正交矩阵T对向量X作正交变换YTX=证：Y的协方差矩阵定义为：()()(){}111212122212()nTnYnnnnEYEYYEYσσσσσσσσσ⎡⎤⎢⎥⎢⎥Σ=−−=⎢⎥⎢⎥⎢⎥⎣⎦LLMMML，那么Y的协方差矩阵为YΣ()()()(){}()()()(){}()()()(){}[]12TYTTTTXNEYEYYEYETXETXTXETXTEXEXXEXTTTdiagλλλΣ=−−=−−=−−=Σ==ΛL其中T为正交矩阵；为实对称矩阵。XΣ表明：向量X通过正交变换后的向量Y的协方差矩阵为λ的对角矩阵，说明向量X的分量间的相关性已被消除，即正交变换能消除存在相关性的冗余度，这是采用正交变换消除图像相关性的一个数学依据。4例2、二维坐标系统中的一个向量旋转――昀简单的线性变换。⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡−=⎥⎦⎤⎢⎣⎡2121cossinsincosxxyyθθθθ即TXY=，将向量旋转了θ角。取θ＝450，则变换为⎥⎦⎤⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡−=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡−=⎥⎦⎤⎢⎣⎡21212122222222cossinsincosxxxxyyθθθθ，若X的协方差矩阵为Xaaaa⎡⎤Σ=⎢⎥⎣⎦，那么变换后Y的协方差矩阵为22220022220222222222TYXaaTTaaa⎡⎤⎡⎤−⎢⎥⎢⎥⎡⎤⎡⎢⎥⎢⎥Σ=Σ==⎤⎢⎥⎢⎢⎥⎢⎥⎥⎣⎦⎣−⎢⎥⎢⎥⎣⎦⎣⎦⎦可见，和完全不相关了；但协方差1y2yXΣ不同，则变换后Y的协方差也就不一样。本问题的逆变换为即⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡−=⎥⎦⎤⎢⎣⎡2121cossinsincosyyxxϑθθθYTX1−=。2.6.2K－L变换[2]一种基于特征向量(Eigenvectors)的变换。„特征分析(Eigenanalysis)复习Δ特征值(Eigenvalues)对的矩阵A，有N个标量NN×Nii,,2,1,L=λ，能使0=−IAiλ，则iλ称为矩阵A的特征值(Eigenvalues)；5⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=1001OI:单位矩阵(identityMatrix)。Eigenvalues(characteristicalvalues)：当矩阵的每个对角元素都减去它时，将变成奇异阵（不存在逆的矩阵）。如果给定矩阵是奇异的，那么N个特征值中至少有一个是0。矩阵的秩rank==非零的特征值个数Δ特征向量(Eigenvectors)设每个是维的（Nbyonevectors），通过满足ie1×NiiiAeeλ=对应一个特征值iλ，则称其为A的特征向量。N个这样得特征向量构成一个正交基集。如果A是实对称矩阵，那么kλ也是实数。例3、假定为对称矩阵，这时⎥⎦⎤⎢⎣⎡=1221A1131133311122111eAeA=⇒⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3是A的特征值，特征向量[]Te1,11=221121111121111AAee−⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤===−⇒⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥−−−⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦=−－1是A的特征值，特征向量[]Te1,12−=6„OneDimensionK-LTransform定义一个线性变换A，它可由任何X向量产生一个新向量Y：()XYAXM=−，这里XM为由L个样本向量估计的均值向量，这就是K-L变换的变换式。理解：变换后的图像是由中心化图像向量XXM−与变换矩阵A相乘，A的构成法：由()(){}TXXXEXMXMΣ=−−i1,2,...ieN=,i1,2,...iN的特征向量构成A的行向量，按相应特征值λ=幅值大小递减的顺序排列各行：即取A的第一行为对应昀大特征值的特征向量，A的昀后一行为对应昀小特征值的特征向量。„K-L变换的性质ΔY的均值，0YM=证：{}(){}{}()0YXXXXMEYEAXMAEXAMAMAM==−=−=−=变换后的图像向量是期望值为零的随机向量。ΔY向量的协方差矩阵为TYXAA∑=∑证：7()(){}{}()(){}()(){}()(){}(0)TYYYYTTXXTTXXTTTXXXEYMYMMYYEAXAMAXAMEAXMXMAAEXMXMAAAΣ=−−===−−=−−=−−=∑因为构成A的各行向量是()(){}TXXEXMXMΣ=−−X的特征向量，所以是一个对角阵。TYXAA∑=∑Δ协方差矩阵是对角型矩阵YΣ212000000YiNλλλλ⎡⎤⎢⎥⎢⎥⎢⎥Σ=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦LOMMOLYΣ为对角矩阵，特征值即沿着特征向量iev方向上Y的第i个元素的方差。上式主对角线上以外的元素为0，即y向量的各元素是不相关的。也就是说，随机向量Y是由互不相关的随机变量组成的，因此，线性变换A起到了消除变量间相关性的作用。即每个iλ都是变换后第i个变量的方差。iy2.6.3K－L变换计算举例8„构造正交矩阵A的步骤：①求随机向量X的协方差矩阵XΣ；②求协方差矩阵的特征值XΣiλ；③求iλ对应的的特征向量；XΣie④用XΣ的特征向量构成正交矩阵A。Example1toKLTransform:若已知随机向量X的协方差矩阵为620221011X⎡⎤⎢⎥Σ=−⎢⎥⎢⎥−⎣⎦，求正交矩阵？⑴按0XIλ−Σ=,求XΣ的特征值iλ1236.8540062062000221022102000110110.146λλλλλλλλ=−−⎡⎤⎡⎤⎢⎥⎢⎥−−=⇒−−=⇒=⎢⎥⎢⎥⎢⎥⎢⎥−−=⎣⎦⎣⎦λ⑵求iλ的特征向量，即按xiieeiλΣ=求。ie例如⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−=⇒⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡+−−++⇒⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−−742.0634.0217.0,067.0392.0918.0,667.0667.0333,0222262110122026312eeecbacbcbabacbacba用，，的转置向量作为正交矩阵A的行向量，那么对任一均值为0的向量X=(21-0.1)1e2e3eT的K-L变换为9⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−−−==127.0067.0234.21.012742.0634.0217.0667.0667.0333.0067.0392.0918.0AXY则Y的协方差矩阵为6.85400020000.146TYXAA⎡⎤⎢⎥Σ=Σ=⎢⎥⎢⎥⎣⎦由此可见，该矩阵的对角元素就是特征值iλ。Example2toKLTransform:Supposethatfollowingmatrixisan2x6image,Itsverticalmeanvectoris,itscovariancematrixis,10InordertomakeRvdiagonalas,orthogonalsetoftheeigenvectorsofRumustbecalculated.,EquationsofeigenvectorΦ1Eq-1EquationsofeigenvectorΦ211Eq-2:ifΦ1andΦ2areorthonormalvectors,thenfollowingequationscanbewritten,Eq-3:Eq-4:Thesolutionofthesefourequationsis,UsingΦT,originalmatrix'U'istransformedasfollows,,0≤n≤N-1Covariancematrixofthetransformedimageis,AsseenfromRv,'V'isanuncorrelatedmatrix.12Energydistributionin'V'isseenfromdiagonalelements(variances).2.67/(2.67+0.33)=89%ofthetotalenergyispackedinthefirstrowvectorofVandtherestisinthesecondrowvector.Ifweignorethesecondrowvectorandtaketheinversetransformof'V',wefindthefollowingimageU'',---Ref:~ademir02/science/9/9x.html2.6.4图像的K-L变换假定一幅图像的数字图像通过某一信号通道传输了M次，由于受随机噪声干扰和环境条件影响，接受到的图像实际上是一个受噪声干扰的数字图像集合NN×{}),(,),,(),,(21yxfyxfyxfML对第i次获得的图像，可用一个含个元素的向量表示，即),(yxfi2NiX2121XTiiiiNiNijiNXXXXXX⎡⎤=⎣⎦LLL（＋）该向量的第一组分量（N个元素）由