数据压缩中的绪论和量化

1数据压缩技术及其应用教材及参考书《数据压缩》、吴乐南著、电子工业出版社、第3版2012年《数据压缩导论》、萨尤得著、贾洪峰译、人民邮电出版社、第4版2013年《数据压缩原理与应用》、David著、吴乐南等译、电子工业出版社、第3版2005年《数据压缩》、戴善荣著、西安电子科技大学出版社、2005年2第1章绪论1.1什么是数据压缩以最少的数码表示信源所发信号。信源编码：主要解决有效性问题信道编码：主要解决可靠性问题31.2压缩的必要性和可能性一、必要性1、从传输的角度传输率：也称码率、数码率、比特率、数据率信号在通信线路上每秒钟应传送的位数，或者保存一秒钟信号样值所需占用的存储容量。bps)b/s,(bit/s,RfIs41.2压缩的必要性和可能性例1.1广播级的彩色数字电视采样频率13.5/6.75/6.75Mb，每像素8位编码数码率：I=(13.5+6.75+6.75)*8=216Mb/s=27Mbyte/s需占用3375个数字话路。一张光盘只能记录不足25秒的数字视频数据信息。高清数字电视(HDTV:HighdefinitionTelevision)数码率：I=1920*1080*60*2*8=1990Mb/s52、从存储的角度例1.2512*512像素、8位黑白图像：512*512=256kB=2048kb彩色图像：256*3=768kB数码相机：1280*960=1228800B2048*1536=3145728B2592*1944=5038848B气象卫星云图：2230*2230=4.74MB4.74*48*5=1.1GB多(高)光谱图像：TM:6100*6100*7=260MBAVIRIS:614*512*224=70MB1.2压缩的必要性和可能性6高分辨率成像光谱仪的数据获取速度可达10Gbps到2020年，将达到100Gbps例1.3海洋地球物理勘探遥测数据60路传感器，采样频率1kHz，16位ADC航测1km需记录1盘0.5英寸的计算机磁带每年每船探测15000km.二、可能性数据中包含有冗余信息1.2压缩的必要性和可能性71.3数据压缩技术分类一、数据压缩的一般步骤以便更紧凑更有效表达原始数据；模型参数进行量化；得到尽可能紧凑压缩码流。8二、分类可逆压缩：无损压缩，熵编码不可逆压缩：有损压缩，熵压缩建立初步概念：有冗余度就可压缩；压缩只能在一定限度内可逆；允许的失真越大，压缩的比例也越大；1.3数据压缩技术分类9三、实用的数据压缩技术1.3数据压缩技术分类10四、数据压缩标准1.3数据压缩技术分类11第2章信源的数字化与压缩系统评价数据是信源的数字化表示2.1取样取样定理2.2标量量化无记忆量化:每次只量化一个模拟取样值。标量量化(ScaleQuantization)一、量化误差量化误差与量化级数J有关，量化级数越多，误差越小，但编码所用码字的位数R越多。每增加一位编码，可得到6db的信噪比。122.2标量量化二、均匀量化量化电平等间隔三、最佳量化量化值与原信号值的均方误差最小定义量化均方误差：{()}()()kkJdkdkExyxypxdx11220()()()()()()kkkkkkkkkdkdkdypddypddxypxdxy1221020和13得到：计算？反复迭代方法（M-L方法）四、压扩量化一种非均匀量化。()()kkkkkkkddkddyydxpxdxypxdx11122.2标量量化14一、矢量量化的定义及说明定义：设有N个K维特征矢量其中第i个矢量可记为为K维欧式空间中的一个矢量，矢量量化就是把N个K维输入矢量X映射成J个K维量化矢量Y。其中量化矢量构成的集合称为码书或码本，码书中的每个矢量称为码字或者码矢,J称码本长度或尺寸。CodeBook,CodeWord,CodeBookSizeiY}{iY},,{21KiJRYYYYY},,{21NXXXXNixxxXKi,,2,1},,,{212.3矢量量化（VectorQuantization）15以K＝2进行说明矢量量化就是将这个平面划分为J块S1，S2，…，Si…SJ，然后从每一块中找出代表值Yi（i＝1，2….J），这就构成一个有J个区间的二维矢量量化器。理解：量化矢量，码书，码字码长。与标量量化一样，会产生误差。不同的划分或不同的量化矢量选取就可以构成不同的矢量量化器，产生的误差也不同。2.3矢量量化（VectorQuantization）16矢量量化过程：对一个矢量进行量化，首先选择一个合适的失真测度和码书，然后分别计算用码字Yi替代所带来的失真。其中最小失真值所对应的那个码字，就是矢量的量化矢量（重构矢量或恢复矢量）。主要解决两个问题：失真测度区域划分并得到码书jX2.3矢量量化（VectorQuantization）()ijYQXjXjX17二、基于矢量量化的数据压缩原理()ijYQX211(,)()KjijkikkdXYxyK2.3矢量量化（VectorQuantization）18当码本长度为时，为传输矢量索引所需的比特数为，码率为：矢量量化特点：（1）压缩能力很强；（2）矢量量化一定产生失真；（3）计算量大；（4）定长码。J2logJ2(log)/RJK2.3矢量量化（VectorQuantization）19最佳设计就是使失真（量化误差）最小。最佳矢量量化器满足的两个必要条件：1）Voronoi分割条件（最近邻准则）对信号空间的分割应满足});,(),(:{liYXdYXdRXSilKllS根据该条件可以对信号空间进行最佳划分，得到的称为一个胞腔（集合）。2.3矢量量化（VectorQuantization）三、码书的设计202）Centroid质心条件子空间分割固定后，Voronoi胞腔的质心就是量化器的最佳码字][llSYXEY若使用均方失真测度，可以证明lSXllXNY1是中包含的矢量个数lS21LBG算法（Linde，Buzo和Gray）2.3矢量量化（VectorQuantization）222.3矢量量化（VectorQuantization）23改进算法：分层、分级、小波矢量量化，神经网络2.3矢量量化（VectorQuantization）24SOFM神经网络设计码书：25四、量化五、编码26举例：基于VQ的图像压缩1）图像分块拉成矢量2）Lene，LBG设计码书3）矢量量化实现压缩272.4信号压缩系统的性能评价一．信号质量：客观评价１．一维信号：２．二维信号：二．信号质量：主观评价112001MSE(,)(,)MNmnxmnymnMN1120011200(,)SNR(,)(,)MNmnMNmnxmnxmnymn283．比特率压缩比：压缩前的数据量与压缩后的数据量之比。4．复杂度：实现编码算法的软硬件运算量：每次所需要的运算次数存储量：存储空间编解码器：体积、功耗、价格5．通信时延延时：实际不能接受6．性能空间综合评判，四维空间