多媒体计算机技术-5

第五讲数字图像处理技术概述数字图像压缩技术数字图像压缩标准视频通信差错恢复技术图像分割技术概述视频压缩技术从预测编码、变换编码到预测/变换混合编码，再到基于内容的编码，所有这些编码方式都是基于一个原理：最大限度地挖掘视频数据的相关性，并进行编码，以降低视频数据的统计相关和视觉冗余，达到最大限度地降低码率的目的，然后根据新的编码原理对码流加入冗余，来抵抗信道噪音。然而建立在IP协议之上的互联网及其他的包交换网络只能提供尽力而为的服务，没有一个完备的服务质量保证机制。在发生阻塞时，各种排队时延和数据包丢失可能导致视频和音频质量的极度下降。概述在网络上进行视频传输必须考虑两个问题：信号处理的问题。对于图像和视频信号的压缩来说，高效的算法是任何一个好的系统设计的核心问题。差错控制和恢复问题。考虑到网络传输过程中的信道干扰、突发错误和拥塞等问题都将不可避免地引起分组丢失，而视频信号对实时性要求非常高，通常不允许对丢失的分组重传，因此系统必须具有错误隐藏和错误复原能力第五讲数字图像处理技术概述数字图像压缩技术数字图像压缩标准视频通信差错恢复技术图像分割技术数字图像压缩技术为了有效防止信号在传输和存储过程中引入噪声导致波形畸变，模拟信号(如话音、音频、图像和视频信号)一般都先进行采样和数字化，然后再进行存储、传输和接受重建，这样才能获得更好的品质。但这些数字化信号的数据量极大，尽管海量存储技术、处理器的速度以及数字通信系统性能迅猛发展，但对数据存储的能力和数据传输带宽的需求仍然超出了现有技术能力所及的范围。为了使通信成为可能并尽可能地降低通信代价，信号的压缩是必需的。视频编码的运动估计方法在图像压缩编码方法中，广泛应用的有以下3种：利用DCT和矢量量化来消除图像帧内空间冗余；利用运动估计来消除帧间时间冗余；利用熵编码来消除编码冗余。由于帧间冗余度远大于帧内冗余度和符号编码冗余度，因此，用来消除帧间时间冗余的运动估计就显得非常重要，它直接影响到图像编解码的效率。缩减时间冗余度视频编码考虑了三种画面：内帧(I)、预测帧(P)和内插帧(B)。这样做的原因一是考虑随机访问视频存储的重要性，二是运动补偿插值可显著降低位速率。视频帧编码及关系缩减时间冗余度最早的运动补偿的设计只是简单的从当前帧中减去参考帧，从而得到通常含有较少能量(或者成为信息)的残差，从而可以用较低的码率进行编码。解码器可以通过简单的加法完全恢复编码帧。一个稍微复杂一点的设计是估计一下整帧场景的移动和场景中物体的移动，并将这些运动通过一定的参数编码到码流中去。这样预测帧上的像素值就是由参考帧上具有一定位移的相应像素值而生成的。这样的方法比简单的相减可以获得能量更小的残差，从而获得更好的压缩比用来描述运动的参数不能在码流中占据太大的部分，否则就会抵消复杂的运动估计带来的好处。缩减时间冗余度通常，图像帧是一组一组进行处理的。每组的第一帧(通常是第一帧)在编码的时候不使用运动估计的办法，这种帧称为帧内编码帧(Intraframe)或者I帧。该组中的其它帧使用帧间编码帧(Interframe)，通常是P帧。这种编码方式通常被称为IPPPP，表示编码的时候第一帧是I帧，其它帧是P帧。缩减时间冗余度在进行预测的时候，不仅仅可以从过去的帧来预测当前帧，还可以使用未来的帧来预测当前帧。当然在编码的时候，未来的帧必须比当前帧更早的编码，也就是说，编码的顺序和播放的顺序是不同的。通常这样的当前帧是使用过去和未来的I帧或者P帧同时进行预测，被称为双向预测帧，即B帧。这种编码方式的编码顺序的一个例子为IBBPBBPBBPBB。I帧的压缩编码算法框图运动补偿原理动图像的帧与帧之间不仅存在基于像素的线性相关性，例如图像背景不变，仅是前景改变，还在宏观上存在着很大的运动相关性，即后一帧图像总是前一帧图像经过平移、缩放、旋转等各种运动得来的，如摄像镜头的晃动。为了充分利用图像序列的运动信息，消除冗余，必须采用运动补偿技术，以提高视频的压缩效率。运动补偿原理运动补偿技术就是在动态序列图像实时编码中运用信息以及像素的位移向量进行图像高效编码的一种方法，它属于时间预测。输入量化编码信道运动估计输出运动估计编码运动补偿原理框图运动补偿原理运动补偿技术通常包括如下过程:从图像中分割出运动目标对运动目标进行估计用位移估计进行补偿预测对预测信息进行编码运动补偿原理在时域内以1/15秒或1/10秒的时间间隔取参考子图，对低分辨率的子图进行编码，采用反映运动的附加校正信息进行插值，可得到全分辨率(帧率1/30秒)的视频信号。这种运动补偿插值技术又称为双向预测运动补偿插补技术运动补偿原理设在K-1帧里中心点为(x1，y1)的运动物体，在第K帧移动到中心点为(x1+dx，y1+dy)的位置，如图所示，其位移向量D=(dx，dy)。若直接求两帧间的差值，由于第K帧运动物体的中心点(x1+dx，y1+dy)与第K-1帧的对应点(背景部分)间相关性极小，所得差值幅度很大；同样第K帧的(x1，y1)点(背景部分)与第K-1帧的对应点(运动物体)之差值幅度亦很大。x1,y1x1,y1x1+dx,y1+dy运动物体静止背景第K-1帧第K帧位移向量D运动物体的帧间位移但若能对运动物体的位移量进行运动补偿，即将第K帧(x1+dx，y1+dy)点的运动物体移回到(x1，y1)点，再与第K-1帧的对应点求差值，则会使相关性增大，差值信号减小，从而提高压缩比。运动估计所谓运动估计就是使用于帧间编码方式时，通过参考图像产生对被压缩图像的估计。运动估计的准确程度对帧间编码的压缩效果非常重要。如果估计做得好，那么被压缩图像与估计图像相减后得到的数据量就很小。运动估计以宏块为单位进行，计算被压缩图像与参考图像的对应位置上的宏块间的位置偏移。这种位置偏移是以运动向量来描述的，一个运动向量代表水平和垂直两个方向上的位移。运动估计运动估计时，P帧和B帧图像所使用的参考帧图像是不同的。P帧图像用前面最近解码的I帧或P帧作参考图像，称为前向预测；而B帧图像使用两帧图像作为预测参考，称为双向预测，其中一个参考帧在显示顺序上先于编码帧(前向预测)，另一帧在显示顺序上晚于编码帧(后向预测)，B帧的参考帧在任何情况下都是I帧或P帧。其主要算法为块匹配法。P帧的压缩编码算法框图B帧的压缩编码算法框图运动估计实际物体的运动是十分复杂的三维运动，既有平动，又有转动，如果再考虑到物体的非刚性和运动中光照的变化，将使运动模型的建立和运动参量的估计十分复杂。在视频图像编码中，由于实时运算的要求，在目前所采用的运动估计算法仅考虑物体运动在视频画面内的平动。在图像编码领域，目前使用的运动估计算法有块匹配法、像素递归法、相位相关法、时空域约束法及块搜索法等多种算法，其中，块匹配法是最常用的一种方法基于小波变换的极低码率视频编码技术极低码率视频通信的主要技术问题是视频编码技术，这种技术主要目的是在满足必要图像质量和硬件成本的条件下降低所需的码率。常用的编码标准，如MPEG-1/MPEG-2和H.261/H.263，目的主要是消除图像数据中的统计冗余。由于没有充分利用人眼的视觉特性，当用于高压缩比系统时，重构图像会出现块状效应、文字效应以及图像模糊等现象。一些新的技术期望能充分利用人眼的视觉特性来减少视频图像的帧内和帧间的冗余信息基于小波变换的极低码率视频编码技术目前极低码率的视频编码方法有很多种，其中基于小波的极低码率编码技术已经得到很好的发展并已在实际应用中发挥重要的作用。已开发的基于小波的视频编码芯片的最高压缩比可达350︰1，甚至更高。基于小波变换的极低码率视频编码技术传统的视频压缩算法通常都是用预测编码来减少帧间冗余度，采用二维的DCT变换减少帧内冗余度，采用熵编码减少统计冗余度。在常规的块匹配运动补偿中，将图像分割成多个不重叠的块，经搜索每个块赋予一个运动矢量。如果从编码效率上看，这是一种低效率的编码方案。因为在对图像进行DCT变换时，要将图像分割成能够准确描述细节的块，而这些块在进行变换时是相互独立的，从而无法利用块间的冗余度。基于小波变换的极低码率视频编码技术针对现有编码标准的缺陷而提出的改进算法是，利用边界子带编码方案和窗口重叠块匹配运动补偿来分别减少空间冗余度和时间冗余度。这种方案只对不同图像的重要区域进行编码。这里所指的重要区域即细节丰富、活动性强的区域，可以通过运动矢量和边界图来确定。窗口重叠块匹配运动补偿与不重叠块匹配运动补偿相比，虽然前者计算量会增大，但搜索得到的运动矢量的精确度会得到明显的提高。第五讲数字图像处理技术概述数字图像压缩技术数字图像压缩标准视频通信差错恢复技术图像分割技术静态图像压缩标准JPEGJPEG2000JPEGJPEG是国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)关于静止图像编码的联合专家组(JointPhotographicExpertsGroup)名称的缩写。该标准可用于自然景象或任何连续色调图像的数字数据的压缩编码和解码。对于数字化精度为每种彩色分量每个样点4至16比特的数字图像有良好的压缩效果，但不适用于二值图像。JPEG标准综合了多年来图像压缩编码的研究成果，是一种集大成的算法。该标准规定了两种工作方式，即顺序方式和渐进方式；还规定了三种级别的编码算法，即基本系统(Baselinesystem)、扩展系统(Extendedsystem)和无失真系统(Losslesscoding)。顺序方式图像被分割为成行成列的四方小块，编码时由左而右，由上而下地逐行逐列对每个小块进行运算，直到所有小块都被编码为止。每个小块的编码都是一次完成。解码时按编码顺序逐块解码，也是一次完成。渐进方式整个图像首先以一种低于最终质量要求的质量标准(如分辨率或数据精度)进行编码，完成后再以较上次高一级的质量要求再进行一次编码，但仅传送为改善质量所需增加的那部分信息。这种过程可以重复若干次直至达到所需的最终质量要求。每个子过程中的编码则还是顺序方式的。渐进方式的实现方式谱选择法逐次逼近阶梯方式基本系统以离散余弦变换为核心，采用顺序工作方式，适用于一般精度(每种分量每个样点8比特)的图像，有良好的压缩效果，压缩比可调。标准规定，每个JPEG静止图像压缩编解码器都必须具有实现基本系统的功能。基本系统流程基本系统算法通过离散余弦变换减少图像数据的相关性；利用人眼视觉特性对系数进行自适应量化；对每个子块量化后的系数矩阵进行Z形扫描，将系数矩阵变换成符号序列；用哈夫曼变长码对符号进行熵编码。Z形扫描扩展系统将基本系统在若干方面增强并减少一些限制条件后就称为扩展系统。扩展系统可对精度范围4～12bit的图像进行处理，可采用渐进方式，可选用哈夫曼码或算术码对离散余弦变换产生的统计事件进行压缩编码。无失真系统无失真系统采用二维DPCM技术，实现无失真压缩，当然压缩比不可能很高。无失真编码器源图像数据压缩的图像数据预测器熵编码器表说明DPCM预测编码框图JPEG能达到的压缩效果采用JPEG算法所能达到的压缩效果，与被压缩图像的特性有关。对于在开发和测试本算法标准时所用的那些内容是彩色自然景物和人像的测试图片，压缩到0.15比特/像素时，图像可识别；0.25比特/像素时，解码后的图像可评价为“有用(usefulimage)”；约0.75比特/像素时，被认为是“极佳(verygood)”；大约1.5比特/像素时基本上与原图像无法区别。用无失真算法对这些测试图片进行压缩编码，大致可以得到2:1的压缩比。JPEG算法的不同压缩比及其压缩效果实例JPEG2000JPEG2000的核心JPEG2000的优势JPEG2000的应用JPEG2000的核心放弃了JPEG所采用的以离散余弦变换算法为主的区块编码方式，而改用以离散小波变换算法为为基础的“优化截取的嵌入式块编码”(Embed-dedBlock