信源编码(数据压缩)课程课后题与答案(第二章)

......信源编码AssignmentofCH21、（a）画出一般通信系统结构的组成框图，并详细说明各部分的作用或功能；信源信源编码信道编码调制噪声信道传输信宿信源解码信道解码解调图1、一般数字通信系统框图各部分功能：1、信源和信宿：信源的作用是把消息转换成原始的电信号；信宿的作用是把复原的电信号转换成相应的消息。2、信源编码和信源解码：一是进行模/数转换，二是进行数据压缩，即设法降低信号的数码率；信源解码是信源编码的逆过程。3、信道编码和信道解码：用于提高信道可靠性、减小噪声对信号传输的影响；信道解码是信道编码的反变换。4、调制和解调：将信息调制为携带信息、适应在信道中传输的信号。数字解调是数字调制的逆变换。5、信道：通信的通道，是信号传输的媒介。（b）画出一般接收机和发射机的组成框图，并分别说明信源编解码器和信道编解码器的作用；高频振荡器高频放大调制高频功放天线信号音频功放图2、一般发射机框图（无线广播调幅发射机为例）......天线信号放大器混频器解调器音频放大器信号本地振荡器图3、一般接收机框图（无线广播调幅发射机为例）信源编解码器作用：它通过对信源的压缩、扰乱、加密等一系列处理，力求用最少的数码最安全地传输最大的信息量。信源编解码主要解决传输的有效性问题。信道编解码器作用：使数字信息在传输过程中不出错或少出错，而且做到自动检错和尽量纠错。信道编解码主要解决传输的可靠性问题。（c）信源编码器和解码器一般由几部分组成，画出其组成图并给以解释。信源编码器时频分析量化熵编码信道传输时频分析反量化熵解码信源解码器图4、信源编解码器框图时频分析部分：信源编码器对信源传送来的信号进行一定方法的时域频域分析，建立一个能够表达信号规律性的数学模型，从而得知信号中的相关性和多余度，分析出信号数据中可以剔除或减少的部分（比如人感知不到的高频率音频信号或者看不见的色彩信号等等），以决定对后续数据的比特分配、编码速率等处理问题。量化部分：根据时频分析的结果，为了更加简洁地表达利用该模型的参数，减少精度，采取相应量化方法对信号进行量化，减小信号的多余度和不相关性，......也达到了减小数据量的目的，如果没有此步骤，则可以实现信源的无损压缩。反量化是其逆过程。熵编码部分：采取相应的熵编码方式，对量化后的量化数据进行无失真的码字分配，尽可能紧凑地压缩码流，同时力求编码能忠实地再现模型参数的量化符号，是一种无失真的压缩编码。熵解码是其逆过程。2、（a）用具体事实说明为什么要进行数据压缩和信源编码？以一部电影为例：假如一部24帧/秒的高清电影时长为90分钟，分辨率为1920×1080，每个像素点采用8bit位编码（256全彩色），那么每帧上的信息量就为1920×1080×8/1024=15.8Mb，每分钟有24×60=1440帧，90分钟就有129600帧，所以这部电影的总信息量为129600×15.8/1024≈48000Gb。这是一个很恐怖的数据量，所以为了更加快速和便携地对多媒体信息进行传输，充分地利用目前有限的存储空间，提高信道利用率，让多媒体信息能够广泛普及和传播，就必须对信源进行数据压缩与信源编码。（b）为什么能够进行进行数据压缩和信源编码？图5、数据压缩方向：多余度与不相关性如图5所示，该图表明了信源可以进行数据压缩和信源编码的两大原因（多余度和不相关性）和编码的总体方向和目标。原因之一是信源中有大量的多余度，如一幅图片或电影中存在大面积的纯色模块，那么这些模块中就存在着大量的多余度，也就给了我们可以进行数据压缩的空间和方向；原因之二是信源中存在着......不相关性，例如在被麦克风或镜头所采集到的声音视频信息中，就存在着人类所感知不到的频率和色域，这些部分的有无对人类收听和观看多媒体信息没有影响，即这些人类感知的不到的信息在某些情况下是多余的，可以进行数据压缩的。（c）数据压缩和信源编码的性能主要从那几个方面来衡量？一、信号质量：客观度量与主观度量对数据压缩和信源编码性能的判定，很大程度上取决于对处理后信号质量的评价，其实也就是对波形逼真度（或失真度）的测量，这既可以通过客观度量（如信噪比）也可以用主观度量（如平均评分）来评价。客观度量包括MSE（包括NMSE、PMSE）这样的准则来度量波形失真，和用SNR（包括NSNR、PSNR）准则来衡量编码器的性能；主观度量主要是人为的评定，包括二元判决、主观SNR、平均判分（MOS）、等偏爱度曲线和多维计分等，图像视频用各国各地区的主观测试分级标准来评分，语音质量由5级质量MOS判分或者PESQ标准判定。二、比特率单从数据压缩的角度来说，比特率常常是体现一个实际编码系统或理论压缩算法技术水平的最主要的指标。三、复杂度信号压缩系统的复杂度是指为实现编解码算法所需的硬件设备量，典型地可用算法的运算量及所需的存储量来度量。四、通信时延随着算法复杂度的提升，信号样本数增加，处理的时延也会有所提升，而取决于不同的通信环境，对通信时延一般都有不同的要求。五、编码和数字通信系统的性能空间将信号质量、编码效率、系统复杂度和通信时延抽象为一个4维空间，任何数据压缩信源编码系统设计都要考虑到空间内的性能取舍。一般来说，信号质量和时延决定了一个信息传输系统所能提供的QoS，而codec的效率和复杂度则关系到系统的经济指标。......3、（a）试用信息量和信源熵的概念解释和说明信源多余度和进行无失真编码的基本原理；首先我们知道数据熵的含义是一组数据的混乱度，用H表示，公式为：nH=[plogp]i2ii1在一组二进制信源中，我们通过计算可以得知，只有当所有码字出现概率等概时，信源熵的值最大，例如：当信源P={p1,p2,⋯,p4}={1/4,1/4,1/4,1/4}时，H=2；当P={p1,p2,⋯,p4}={1/2,1/6,1/6,1/6}时，H=1.7925。也就是说，一组数据的总比特数大于等于码数与信源熵的乘积，这时我们就可以发现信源数据中存在多余度。所以可以发现信源数据可压缩（含有多余度）的条件是信源码不等概。再来看信源多余度的定义：nRIpHiii1当信源等概发送时，此时的H与平均码长相等，即R=0，没有多余度，而当不等概发送时，R必大于0，这就代表了信源信号必有可以进行数据压缩的空间，而熵H就代表了最佳压缩码长。这也告诉我们采取适当的压缩编码方式，只要编码码长在最佳压缩码长之上，就可以实现无失真编码。（b）常用的无失真编码算法由那些？常用的无失真压缩编码有：霍夫曼编码、算术编码、游程编码、二进制信源编码、基于字典的编码、LZW编码、完全可逆的小波分解+统计编码等等。4、信源符号集合为{a,b}，且P(a)=0.8,P(b)=0.2;（a）如果对信源进行单字符Huffman编码，计算平均编码长度试多少？如果对双码字信源进行单字符霍夫曼编码，则a为0，b为1。所以平均码长亦为1。（b）如果对信源进行双字符Huffman编码，即信源可视为{aa,ab,ba,bb}，计......算这时的平均编码长度试多少？由题：P（aa）=0.8×0.8=0.64P（ab）=0.8×0.2=0.16P（ba）=0.2×0.8=0.16P（bb）=0.2×0.2=0.04霍夫曼编码如下：aa：0ab：10ba：110bb：111所以平均码长为：L=0.64+0.16×2+0.16×3+0.04×3=1.565、有信源{A,C,G,T},且P(A)=0.5,P(C)=0.3,P(G)=0.15,P(T)=0.05,试用图示解释消息“CAT”算术编码和解码的过程。“CAT”的算术编码示意图如下所示：编码方向10.50.50.3575AA0.5CCT0.2GT0.500.20.350.35解码方向图6、消息“CAT”算术编码过程6、试用互信息的概念解释有失真编码的基本原理。......我们知道信号X与Y的互信息量可以表示为：I(X;Y)H(X)H(X|Y)所谓的无失真编码，可以理解为X=Y，即我们得到解码器的输出Y时，就可以确定信源信号为X；而在有失真编码中，当我们得到了输出Y，不一定能确定信源信号就是X，存在一定的不确定性。而这不确定的平均值即为条件熵H（X|Y）。当解压缩后得到输出数据，这时原始数据或信息虽可能与其不同，但是在某种使用情形中输出与输入已经“足够接近”，并可以在允许的误差内使用，也就是条件熵H（X|Y）足够小时，这种情况下就可以进行有失真编码。在有失真编码中，我们可以将编码码长设定在最佳码长（即信源熵）之下，进一步缩减平均码长，在不严重影响通信系统效果的前提下减小传输数据量。7、如何解释或理解率失真定理？它在有失真编码领域有何指导意义？率失真理论是对于一个给定的信源分布与失真度量，在特定的码率下能达到的最小期望失真，或者说为了满足一定的失真限制，最小描述码率可以是多少。率失真曲线可以最直白地表明其含义：图7、率失真曲线横坐标D代表失真度，纵坐标率失真函数R（D）表示编码的最低速率。从图中可以看出，随着失真度D逐渐增大，允许的编码最低速率也在逐渐降低，也就是表明在某个失真度标准下，我们的编码速率不能低于相应的R（D），同时R（D）速率也是最佳的编码速率，可以实现最短的编码码长；当失真度为0时，......就变成了无失真编码，这时纵坐标R（D）表示在无失真最佳编码长度（信源熵H）下的编码速率。率失真理论为有失真信源编码的性能提供理论极限和比较标准，对具体编码方法的研究有方向指导作用：在设计数据压缩有失真算法时，我们希望将算法的性能曲线尽可能地向率失真函数靠拢，靠得越近，证明算法的效率和性能越好。8、（a）标量量化与矢量量化的区别是什么？各自的优缺点可以从那几个方面进行比较？按照量化的维数分，量化分为标量量化和矢量量化。标量量化是一维的量化，一个幅度对应一个量化结果。而矢量量化是二维甚至多维的量化，两个或两个以上的幅度决定一个量化结果。以二维情况为例，两个幅度决定了平面上的一点。而这个平面事先按照概率已经划分为N个小区域，通过码书对应着一个输出结果。由输入确定的那一点落在了哪个区域内，矢量量化器就会输出那个区域对应的码字。矢量量化的好处是引入了多个决定输出的因素，并且使用了概率的方法，一般会比标量量化效率更高。标量量化是维数为1的矢量量化，一个P维最佳矢量量化器性能总是优于P个最佳标量量化器。在相同的编码速率下，矢量量化的失真更小；而相同的失真条件下，矢量量化的码速率更低；矢量量化的复杂度更高。标量量化和矢量量化有各自的优缺点，适应于不同的应用环境，主要由各自的量化精度、量化级、量化维度和量化效率来决定最终的量化误差。（b）对频带宽度为8kHz的宽带语音信号采用16kHz采样、每个样点用16bit表示，则其原始编码速率是多少？由题可知，原始编码速率V=16000×16/1024=250Kb/s。（c）如果对上述信源进行每个样点用8bit标量量化，则其编码速率是多少？由题可知，编码速率为V=16000×8/1024=125Kb/s。（d）如果对上述信源进行每个样点用8维矢量量化，码书尺寸为1024个码矢......量，则其编码速率是多少？由题可知，每个8维矢量有8个标量数据，占8个bit；每秒16000个采样点每个样点采取8维矢量量化，即每秒需要传输16000个8bit码字的匹配信息；码书长度为1024（2的十次方），每个码字需要10bit数据来传输匹配数据，故编码速率V=10×16000/1024=156.25Kb/s。9、结合图示，解释预测编码的基本原理，并说明为什么预测编码可以进行数据压缩。预测编码是根据离散信号之间存在着一定关联性的特点，利用前面一个或多个信号预测下一个信号进行，然后对实际值和预测值的差（预测误差）进行编码。如果预测比较准确，误差就会很小。在同等精度要求的条件下，就可以用比较少的比特进行编码，达到压缩数据的目的。预测编码中典型的压缩方法有脉冲编码调制（PCM）、差分脉冲编码调制（DPCM）、自适应差分脉冲编码调制（ADPCM）等。下图为DPCM的流程示意图：图8、差分脉冲编码调制