小波变换与图像压缩课件

周三例会报告26/11/2014上海大学数字图像处理—图像压缩OUTLINE:图像压缩1.香农信息论2.数据压缩原理3.数据冗余4.无损压缩5.有损压缩WaveletExchange为什么要图像压缩?减少表示数字图像时需要的数据量目的什么是图像压缩?24真彩色16色位256色位768kb128kb257kb图像压缩基础-香农信息论说明：一个消息若能传达给我们许多原来未知的内容，我们就认为这个信息很有意义，信息量大；反之，一个消息传达给我们的是已知确定的东西，则这个传达就失去了意义。生活实例第一句话：我有一个师兄叫“**”。第二句话：我大学舍友是个男生。直观的感受一下这两句话所携带的未知信息量。信息图像压缩基础-香农信息论-信息量在信息论中：信息使用不确定的度量来确定的，一个消息的可能性越小，其信息含量越大；消息的可能性越大，其信息含量越小。设某消息发生的概率为，则该消息携载的信息量为：1）当时，则单位为比特（bit）；2）当时，则单位为奈特（nat）；3）当时，则单位为哈特（hat）。一般以2为底取对数，由此定义的信息量等于描述该信息所用的最少比特数。信息量logiiaIxpxipx2aae10a图像压缩基础-香农信息论-信息量在信息论中：信息使用不确定的度量来确定的，一个消息的可能性越小，其信息含量越大；消息的可能性越大，其信息含量越小。设某消息发生的概率为，则该消息携载的信息量为：1）当时，则单位为比特（bit）；2）当时，则单位为奈特（nat）；3）当时，则单位为哈特（hat）。一般以2为底取对数，由此定义的信息量等于描述该信息所用的最少比特数。信息量logiiaIxpxipx2aae10a图像压缩基础-香农信息论-信息熵信息熵信息熵若信源有个字符，对应字符的概率为，则该信源的平均信息量就称为信息熵，既：具体到数字图像中，称为图像信息熵。它给出了描述一幅图像携载信息量的最少比特数。112200loglogiLLiiiiinnHpxpxnnnixipxH图像压缩基础-香农信息论-图像编码图像编码图像编码码本：编码所用符号的集合称为码本。如码字：对每个码本的每个符号所赋的符号序列称为码字。如码字长度：每个码字里的符号个数称为码字长度。数字图像：码长=二进制数长度。0123456A,,,,,,aaaaaaa001011a图像压缩基础-香农信息论-香农定理香农无失真编码定理Shannon无失真编码定理基于图像信息熵，存在一种无失真的编码方法，使编码的平均码长与信息熵无限的接近。既：但以为下限，既。这就是Shannon的无失真编码定理。无失真编码性能的几个指标：1）编码效率2）冗余度或3）压缩比n1：编码后的大小n2：编码前的大小,0avgLHavgLHavgHL1100%DR12RnCn11DRRC图像压缩基础-图像压缩原理1）数据压缩的对象是数据，大的数据量并不代表含有大的信息量。2）图像压缩就是除去图像中多余的数据而对信息没有本质的影响。3）图像压缩是以图像编码的形式实现的，用较少的比特数表示出现概率较大的灰度级，用较多的比特数表示出现概率较小的灰度级，从而使平均码长更接近于信息熵。图像压缩基础-图像压缩质量评判标准原始图像灰阶f(xi,yi)压缩图像灰阶f'(xi,yi)均方误差：nimjjifjifmnMSE112)],('),([1规范化均方误差：,2fMSENMSEnimjfjifmn112),(1对数信噪比：)(log10log102dBNMSEMSESNRf峰峰对数信噪比：)(255log10PSNR2dBMSE图像压缩基础-数据冗余1)信息熵冗余：也称编码冗余，如果图像中平均比特数大于该图像的信息熵，则图像中存在冗余，这种冗余称为信息熵冗余。2)空间冗余：也称为像素间冗余或几何冗余，是图像内部相邻像素之间存在较强的相关性所造成的冗余。3)时间冗余：视频图像序列中的不同帧之间的相关性所造成的冗余。4)视觉冗余：是指人眼不能感知或不敏感的那部分图像信息。5)结构冗余：是指图像中存在很强的纹理结构或自相似性。6)知识冗余：是指有些图像还包含与某些先验知识有关的信息。1)信息熵冗余：也称编码冗余，如果图像中平均比特数大于该图像的信息熵，则图像中存在冗余，这种冗余称为信息熵冗余。2)空间冗余：也称为像素间冗余或几何冗余，是图像内部相邻像素之间存在较强的相关性所造成的冗余。3)时间冗余：视频图像序列中的不同帧之间的相关性所造成的冗余。4)视觉冗余：是指人眼不能感知或不敏感的那部分图像信息。5)结构冗余：是指图像中存在很强的纹理结构或自相似性。6)知识冗余：是指有些图像还包含与某些先验知识有关的信息。有损压缩无损压缩图像压缩基础-图像压缩的类型标准量化和矢量量化编码预测编码行程编码模型法编码变换编码字典编码香农-范诺编码哈弗曼编码算术编码图像压缩无损压缩-行程编码行程：是指字符序列中各个字符连续重复出现而形成字符串的长度。行程编码（游程编码）：就是将字符串序列映射成字符串的长度和串的位子的标志序列。例如：一个字符串00000000111888...8881111000000008个3个50个4个8个行程编码：0x08,0x00,0x03,0x01,0x50,0x08,0x04,0x01,0x08,0x0010201000002222201行程编码：0x01,0x01,0x01,0x00,0x01,0x02,0x01,0x00,0x05,0x00,0x05,0x02,0x01,0x00,0x01,0x01改进：0x01,0x00,0x02,0x01,0xFF,0x05,0x00,0xFF,0x05,0x02,0x00,0x01无损压缩-字典编码基于字典编码方法是用以前处理过的数据来表示编码过程中遇到的重复部分，或者从输入的数据中创建一个短语字典，表示在编码过程中再遇到该短语，则用字典中短语的“索引号”来表示该短语。字典编码的算法有LZ77,LZSS,LZ78和LZW。无损压缩-香农-范诺编码符号概率0.160.40.120.040.020.20.06具体步骤如下：a）将信源符号按出现的概率由大到小排列；b）将信源A分成两个子集并且保证成立或差不多成立；c）给两个子集赋不同的码元值；d）重复（2）、（3），既对每个子集再一分为二，并赋予不同的码元值，直到每个子集仅含一个符号为止。01k12120112AAkknkkknaaaaaapapapapapapa和01knijijkpapaipa假设有一个信源为，其概率分布为：0123456A,,,,,,aaaaaaa0a1a2a3a4a5a6a无损压缩-香农-范诺编码010101111000010010111011101111011111香农-费诺编码示意图计算香农-费诺编码平均码长为：1010..430.230.1630.1240.0650.0450.022.380NavgkkkLBP无损压缩-霍夫曼（Huffman）编码符号ABCD概率0.160.40.120.04霍夫曼编码法是消除编码冗余最常用的方法。假设有一个信源为A={A,B,C,D}，其组成的字符串为AABCCDA,其概率分布为：无损压缩-霍夫曼（Huffman）编码A3/7B1/7C2/7D1/7A3/7C2/72/7BDA3/74/7CBA1A0D1B0C01符号ABCD编码011010111AABCCDA0011010101110结果无损压缩-算术编码算术编码法和霍夫曼编码法都是一种变长编码。但霍夫曼编码必须分配整数位码字，而算数编码可以分配带有小数的比特数目信符，并且算术编码给整个信源符号序列分配一个单一的算术码字。假设有一信源为A={b,c,a,d,c}，信源中各符号出现的概率分别为：p(a)=0.2p(b)=0.3p(c)=0.4p(d)=0.1步骤“当前区间”初始化[0,1）1将“当前区间”分成子区间，该子区间的长度正比于符号的概率2对于输入信源中的每个符号，依次执行如下两个步骤：选择下一个信符对应的子区间，并使它成为新的“当前区间”3在最后一个“当前区间”中任找一个数作为算数编码的输入码4无损压缩-算术编码算术编码示意图输出区间[0.3728,0.37376）[0.01011111011,0.01011111101）取位数最少的一个数:0.010111111不考虑“0.”，则编码输出为:010111111算数编码法：霍夫曼编码法：91.8/5avgL比特字符1.9/avgL比特字符Ab,c,a,d,c有损压缩-变换编码变换编码是采用一种可逆线性变换（正交变换），把图像从空间域映射到变换域的系数集合，然后对这些变换系数进行量化和编码。变换编码方法编码、解码示意图有损压缩-变换编码子图像分解将一副大小为MxN的输入图像分解成大小为nxn的子图像。如8×816×16原因：☻距离远的像素之间的相关性比较差；☻小块图像的变换比较容易。量化系数选择（滤波）：区域法和阈值法量化：小数系数变成整数编码变长编码法正交变换将一副图像从空间域映射到变换域的系数集合。正交变换的特点：☻不会丢失信息；☻去除部分相关性；☻能量（信息）集中大的系数→能量多→低频小的系数→能量小→高频WaveletExchange小波变换用于图像压缩的理由基于DCT(DiscreteCosineTransform)的压缩标准JPEGMPEG-1,MPEG-2,H.264DCT压缩的优点是简单、便于硬件实现DCT压缩的缺点是：图像是分块处理沿块的边界方向相关性被破坏，出现“blockingartifacts”小波变换用于图像压缩的理由傅里叶变换傅立叶分析是一种将基于时间的信号变换为基于频率的信号的数学方法。傅立叶分析能够很好的刻画信号的频率特性，但不能提供信号在时频上的任何局部信息。为解决以上问题，在变换中增加了一个用于时间局部化的窗口函数，称之为“短时傅里叶变换”。然而由测不准原则可知，窗口的面积不可能任意小。测不准原则：如果w（t）是一个窗口函数，则有：因此短时傅立叶变换是一种恒分辨率分析。21小波变换的发展•20世纪80年代后期发展起来的小波变换理论•它是继傅里叶分析后信号处理与分析的强大工具•无论是对古老的自然学科还是对新兴的高新技术应用学科都产生了强烈冲击。•小波理论是应用数学的一个新领域。要深入理解小波理论需要用到比较多的数学知识。小波变换的发展哈尔(AlfredHaar)对在函数空间中寻找一个与傅里叶类似的基非常感兴趣。1909年他发现了小波，1910年被命名为Haarwavelets最早发现和使用了小波的名称。小波变换的发展20世纪70年代，当时在法国石油公司工作的年轻的地球物理学家JeanMorlet提出了小波变换CWT(continuouswavelettransform)的概念。法国科学家Y.Meyer创造性地构造出具有一定衰减性的光滑函数，用缩放(dilations)与平移(translations)均为2的j次幂的倍数构造了平方可积的实空间L2(R)的规范正交基，使小波得到真正的发展.S.Mallat于1988年在构造正交小波基时提出了多分辨率分析(multiresolutionanalysis)的概念,从空间上形象地说明了小波的多分辨率的特性,提出了正交小波的构造方法和快速算法，叫做Mallat算法。Mallat算法地位相当于快速傅里叶变换在傅里叶分析中的地位。小波变换的发展1988年InridDaubechies最先揭示了小波变换和滤波器组(filterbanks)之间的内在关系。20世纪90年代中期，Sweldens提出了小波变换提升方案---第二代小波变换，用于JPEG2000小波在信号(如声