第4章图像压缩编码2

数字电视原理第四章图像压缩编码信息工程系22019/12/18第四章图像压缩编码4.3预测编码预测编码：预测编码是基于图像数据的空间和时间冗余特性，用相邻的已知像素(或图像块)来预测当前像素(或图像块)的取值，然后再对预测误差进行量化和编码。预测编码的关键在于预测算法的选取，这与图像信号的概率分布有关。根据预测算法的不同有不同的预测编码方法，例如：•DPCM的前值预测、一维预测、二维预测以及三维预测等•后向预测、双向预测•运动补偿信息工程系32019/12/184.3.1差分脉冲编码调制(DPCM)在预测编码时，不直接传送图像样值本身，而是对实际样值与它的一个预测值间的差值进行编码、传送。如果这一差值--预测误差被量化后再编码，这种预测编码方式叫DPCM。DPCM预测方法（预测公式）：设XN为被编码图像信号，则对XN的预测值为：其中：a1,a2,…,an为预测系数XN-1,XN-2,…,XN-n为参考样值从预测公式可看出这是一种线性预测nNnNNNXaXaXaX2211ˆNXˆ信息工程系42019/12/184.3.1差分脉冲编码调制(DPCM)预测误差eNeN=XN－预测误差eN的值的概率分布呈拉普拉斯分布：NXˆ信息工程系52019/12/184.3.1差分脉冲编码调制(DPCM)DPCM系统方框图信息工程系62019/12/184.3.2预测编码的类型几种常用的线性预测方案1.前值预测2.一维预测3.二维预测预测像素NXˆNX1X2XˆNX3X4X预测像素1X2XˆNX3X4X5X第一场第二场预测像素n行n-1行n-2行信息工程系72019/12/184.3.2预测编码的类型4.三维预测ˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNXˆNX前一帧4×4预测帧4×4信息工程系82019/12/184.3.3预测器预测器的设计预测公式为：图中的D1,D2,…DN-1为延迟器nNnNNNXaXaXaX'''ˆ2211信息工程系92019/12/184.3.3预测器例子：设计一个线性预测器，其预测公式为：ABCCBAX613121延一个像素延一行延一行加一个像素1/21/31/6++NXe’NNX'信息工程系102019/12/184.3.4后向预测和双向预测根据参考帧与被编码帧的位置，预测编码可分为：•前向预测：参考帧位于被编码帧之前•后向预测：参考帧位于被编码帧之后•双向预测：参考帧位于被编码帧的前后两个方向K-1帧k帧K+1帧信息工程系112019/12/184.3.4后向预测和双向预测MPEG标准所采用的预测编码I帧：帧内帧P帧：前向预测帧B帧：双向预测帧I1B2B3P4B5B6P7B8B9P10B0B11B12I13B14信息工程系122019/12/184.3.7运动补偿预测运动物体的帧间位移dxx1,y1x1,y1dyx1+dx,y1+dy运动物体第K-1帧第K帧静止背景D位移矢量信息工程系132019/12/184.3.7运动补偿预测块匹配运动位移估值如何搜索电视图像中的运动部分是运动补偿预测的关键块匹配法是最常用的一种方法。多个国际标准都采用这种方法，包括：H.261,MPEG-1,MPEG-2等N+2dmdmdmNMdmM+2dmdmx=iy=j第k-1帧中的搜索区第k帧中的像块M×N信息工程系142019/12/184.3.7运动补偿预测最佳匹配块最佳匹配块的判决依据（判据）：1.最小均方误差(MSE)2.平均绝对帧差（MAD）21111(,)(,)(,)MNKKmnMSEijSmnSminjMN1111(,)(,)(,)MNKKmnMADijSmnSminjMN信息工程系152019/12/184.3.7运动补偿预测块匹配法的快速搜索•三步法搜索1111111112222222233333333ii+1i+2i+3i+4i+5i+6i+7i+8i-1i-2i-3i-4i-5i-6i-7i-8jj+1j+2j+3j+4j+5j+6j+7j-1j-2j-3j-4j-5j-6j-7j-8信息工程系162019/12/184.3.7运动补偿预测•共轭搜索法1125467839ii+1i+2i+3i+4i+5i+6i+7i+8i-1i-2i-3i-4i-5i-6i-7i-8jj+1j+2j+3j+4j+5j+6j+7j-1j-2j-3j-4j-5j-6j-7j-8信息工程系172019/12/184.3.7运动补偿预测分级搜索法搜索步骤分为两级：•第一级：粗搜索先对低分辨率图像进行全搜索•第二级：细搜索以低分辨率图像搜索的结果作为起点，在高分辨率图像中进行细搜索MPEG-2标准中的分级搜索：i-1,j-1i-1,j+1i-1,ji,j-1i,j+1i,ji+1,j-1i+1,j+1i+1,jS8S6S7S4S5S1S3S2信息工程系182019/12/184.4变换编码变换编码是消除图像信号结构冗余度的一种方法4.4.1变换的物理意义（目的）tAfAf1f2f3f4…………离散付立叶变换(FFT)变换编码DC水平空间频率增加方向垂直空间频率增加方向直流能量减少方向TXYXYT为变换矩阵信息工程系192019/12/184.4.1变换的物理意义变换的关键在于去除相关性，即使得变换后的图像数据互相之间都不相关，互相独立图像数据的协方差矩阵（如何找到合适的变换矩阵？）协方差矩阵表示图像信号的相关程度图像样值序列组成的随机向量：其协方差矩阵定义为：E表示求数学期望，是X的平均值，i,j=0,1,…，N-1]',,[110NxxxX21,121,120,121,121121021,0201200})')({(NNNNNNXXXXXEX011[,,,]'NXxxx2{()()}ijiijjExxxx信息工程系202019/12/184.4.1变换的物理意义协方差矩阵中：•主对角线上的元素是各随机变量的方差，它反映了各随机变量的能量大小•主对角线以外的各个元素则是表示两个随机变量和之间相关程度的协方差•若图像内容相关性弱甚至不相关，则在协方差矩阵中除了对角线上值不为零外，其余的值都接近于零或等于零21,121,120,121,121121021,0201200})')({(NNNNNNXXXXXE信息工程系212019/12/184.4.1变换的物理意义从线性代数理论知道，若用协方差矩阵ΣX的特征向量作变换的基向量，即由ΣX的特征向量矩阵作为正交变换的变换矩阵T，就可以得到对角线型的变换域协方差矩阵ΣY''})')({(}')')(({})]'()[({})')({(TTTXXXXTETXXXXTEXXTXXTEYYYYEXYTXY其中信息工程系222019/12/184.4.1变换的物理意义求协方差矩阵X求特征向量矩阵正交变换K-L变换Y图像数据矩阵变换域系数矩阵信息工程系232019/12/184.4.1变换的物理意义自然图像的协方差矩阵•经过大量统计试验发现：自然图像的协方差矩阵ΣX很近似一种称为Toeplitz型的矩阵•由此想到用这种Toeplitz型矩阵的特征向量做为自然图像的变换矩阵进行变换，可以得到近似于对角线型矩阵的变换系数矩阵10,111132132212NNNNNN信息工程系242019/12/184.4.2二维离散余弦变换(DCT)1.二维N×N图像块的DCT变换正变换DCT图像样值其中u,v=0,1,…,N-1。反变换IDCT10102)12(cos2)12(cos),()()(2),(NiNjNvjNuijifNvCuCvuF)1,1,0,)(,(Njijif1,,2,1,10,21)(),(NvuvuvCuC当当11002(21)(21)(,)()()(,)coscos22NNuviujvfijCuCvFuvNNN信息工程系252019/12/184.4.2二维离散余弦变换(DCT)二维DCT的矩阵表示式正变换DCT：正交变换矩阵是的转值矩阵根据矩阵的正交性，有反变换IDCT：(,)TFuvDCTfDCTDCTTDCTDCT1TDCTDCT1(,)(,)(,)TTTfijDCTFuvDCTDCTFuvDCT信息工程系262019/12/182.二维8×8DCT变换八阶的DCT矩阵81111111122222222357753coscoscoscoscoscoscoscos161616161616161626622662coscoscoscoscoscoscoscos1616161616161616375573coscoscoscoscoscoscoscos116161616161616162cDCT44444444oscoscoscoscoscoscoscos1616161616161616573375coscoscoscoscoscoscoscos161616161616161662266226coscoscoscoscoscoscoscos1616161616161616753coscoscos161616357coscoscoscoscos16161616160.35360.35360.35360.35360.35360.35360.35360.35360.49040.41570.27780.09750.09750.27780.41570.49040.46190.19130.19130.46190.46190.19130.19130.46190.41570.09750.49040.27780.27780.49040.09750.41570.35360.35360.35360.35360.35360.35360.35360.35360.27780.49040.09750.41570.41570.09750.49040.27780.19130.46190.46190.19130.19130.46190.46190.19130.09750.27780.41570.49040.49040.41570.27780.0975信息工程系272019/12/184.4.2二维离散余弦变换(DCT)3.变换系数矩阵DC水平空间频率增加方向垂直空间频率增加方向直流能量减少方向信息工程系282019/12/184.4.2二维离散余弦变换(DCT)4.变换举例：(a):仅具有水平空间频率成分43.60-1.300.850-0.700000000000000000000000000000000000000000000000000000000信息工程系292019/12/184.4.2二维离散余弦变换(DCT)(b):仅具有垂直空间频率成分400000003.6000000000000000-1.30000000000000000.85000000000000000-0.70000000信息工程系302019/12/184.4.2二维离散余弦变