图像视频处理技术论文

H.264快速速率估计算法的实现第一章绪论第一章绪论1.1引言最近的几十年里，通信技术的发展日新月异，技术更新也非常快速。图像和视频处理技术作为信号处理技术发展的产物，已经越来越引起国际社会的关注。一个产业的发展离不开标准化，正是基于此国际学术会议以及相关组织所提出的标准化建议或协议就相当重要了。近些年，一系列国际图像和视频压缩编码标准的制定和更新，使得编码压缩技术技术和相关产业日趋成熟，极大的促进了图像视频信号处理技术在社会生活中的应用。尤其是在最近几年，第三代移动通信技术正在蓬勃发展，它将无线通信与国际互联网等各种多媒体通信结合，是当今社会极具发展潜力和价值的新一代移动通信系统。面对巨大的移动终端市场，进行视频压缩也更有利于通信交互，这将会极大地促进通信技术的推广和发展。因此，科技的更新和用户的要求对各种信号的处理技术有了更高的标准。为了适应各种现代通信和信息传输网络的技术要求，除了继续使用与传统的信号处理技术相同的技术外，在此基础上，还应该提出一个新的信号处理技术，算法，模型，以满足应用的需求。2003年,ITU和ISO联合制定出H．264/AVC，该标准也是至今最新、最先进的的视频压缩编码标准。H．264/AVC以先前制定的视频编码标准为基础，集合了其中的一些已经得到足够发展技术也很成熟的算法，同时吸收了视频编码和图像处理领域里的一些为提高编码性能所提出的最新最有效地研究成果。H.264极大地提高了编码效率，在增强网络适应性方面也有很大的飞跃，它的最终目标是适应人们对基于网络应用的视频多媒体信号的个性要求。联合视频小组(jointvideoteam，JVT)所提出的新视频编码标准——H．264，与以往标准相比在编码效率方面具有显著的优势；但为了提高压缩效率，它所带来的的高计算复杂度是实际应用领域所承受不了的。在H.264的参考软件JM中，运动估计和模式决策占了大部分的时间。所以，研究简单快速的算法对提高H.264/AVC在实时领域中的应用有着极其重大的意义。对H.264的一些主要算法进行改进，需要完成的主要工作集中在不对编码质量造成过大影响的前提下减少其编码时间提高编码效率，因此，大部分的研究工作都是为了寻求更合适更快速的算法。1.2视频编码标准发展历程介绍从1984年CCITT研究组发布的第一个视频领域编码标准H.120开始，迄今为止已相继提出了众多国际标准。视频编码标准发展至今也有近三十年的历史，这段历史的一个转折点就是1988年CCITT所提出的H.261建议，从这个转折点开始，国际标准组织ITU－T、ISO等开始公布了一系列的以H.261为基础的视频编码标准，从此视频编码标准的编码方法统一采用了基于波形的混合编码方法。一些国际标准组织有联合图像专家组（JPEG，JointPhotographicExpertsGroup），它是于1986年由ISO和CCITT联合成立的。此外还有活动图像专家组（MPEG，MovingPictureExpertGroup），它于1988年由ISO/IEC信息技术联合委员会组成；并分别在1991年和1994年公布了MPEG-1视频编码标准以及MPEG-2视频编码标准。H.264快速速率估计算法的实现第一章绪论新一代视频编码标准H.264于2003年3月由ITU-T和ISO/IEC正式提出，该标准实现了良好的压缩效率，同时对网络具备了良好的亲和性和兼容性，对实时系统的应用及其有帮助。不久的将来，国际视频组织即将推出HIVC，即H.265，可想而知的是该标准的发布将会带来新一轮的研究热潮，对视频的发展和应用也会产生巨大的影响。1.2.1视频编码原理图像(image)的定义是自然景物中物体反射的可见光的强度，也可以是其它的各类电磁波反射后的强度反映。在图像信息处理的过程中用数字来描述图像中的像素点、强度和颜色等信息。在显示的时候，它是通过数字化的方式将呈现对象用一定的分辨率加以分辨后对得到的色彩信息进行呈现，如此可以快速显示在屏幕上[1]。在显示的过程中分辨率和灰度是主要影响参数。图像适用于表现那些含有大量细节（如亮度变化、场景变换、轮廓明显、色彩丰富）的对象，如：影片、绘画等。图像软件可以对复杂图像进行处理，从而得到质量更高的图像，比如提高清晰度或者产生符合个性要求的特殊效果。运动视频数据本质上就是时间顺序的图片序列，而相机通常每秒产生约24，25，或30帧。这就导致需要处理大量的数据，因此需要使用到压缩技术。例如：假设每个图片都有一个相对较低的QCIF，即176*144样本，每个样本用8个比特表示，我们每三个图片跳过两个以削减比特率。对于彩色图片，三色组成样本对于为每个像素表现足够的色彩空间是必要的。即使是传输这种相对低的高保真的图片序列，原始数据源速率仍然超过6Mbit/s。然而，今天低成本的传输通道经常工作在低得多的数据率，从而视频信号的数据率需要进一步压缩。例如，使用V.34调制解调器在拨号模拟电话线上传输率最多为33.4Kbit/s，我们仍然需要进一步压缩视频码率至200倍左右（如果音频同一通道耗时6Kbit/s或电话线实现太吵以至于不能实现V.34的全比特率，压缩率将会更高）。视频中的每幅图像被称为一帧(flame)，当连续的图像以每秒超过24帧画面以上的速度进行变化时，根据视觉暂留原理可知，人眼是无法辨别单幅的静态画面的；看上去则近似于平滑连续的视觉效果，这样在人眼中形成的连续的画面叫做视频。视频其实就是在时间轴上的一组图像序列的组合，通常也被称为视频图像、视频序列等。视频技术最早是为了电视系统而发展，但现在已经扩展成了多种广泛应用的格式，这样极大地方便了消费者将视频记录下来。从自然世界所获取的视频场景属于模拟视频信号，通常可以表示为时间与空间上的连续函数[1]。计算机内部是以数字形式来描述信息的，为了更方便地用计算机对最终得到的视频进行一些基本操作，如：处理，传输、存储和加工等；需要对需要处理的模拟信号进行时间空间域的转换，即是讲视频进行数字化处理，最终将模拟视频转换为数字视频。为把模拟视频它转换成数字视频，需要对坐标和幅度分别进行采样操作。数字化坐标值称为采样，包括空间采样和时间采样；而幅度值的数字化则称为量化过程。最终得到的数字视频信号包含了大量的数据信息，需要对其进行一定的压缩编码才能在实时通信系统中得到实际的应用，也即满足对网络带宽的要求进行实时传输。数据作为信息的载体，但是数据和信息是两个不同的概念，终归不能完全等价。要想对数字视频进行压缩，就要了解数字视频的特点。数字视频的一个独特特点就是其具有相关性。如果能够利用这些相关性，对数字视频里的各种信息冗余进行去除便能实现对视频信号的压缩。一般将数字视频信号中的冗余归为下面几类[2]：A：空间冗余。数字图像是视频的基本元素，数字图像的得到要通过对模拟视频信号进行空间采样。这些构成图像的相近像素之间是紧密相关的，即他们之间的像素值一般是没有太大的相差的。当需要预测当前像素的数值时，可以通过分析其相邻像素的数值进而通过一H.264快速速率估计算法的实现第一章绪论些数学规则来进行预测而达到目的。B：时间冗余。从视觉的理论出发，视频是一连串人们看起来连续的图像；但实际上这些图像之间是有间隔的，也就是不连续的。视频帧与帧之间的采样间隔是非常小的，这是为了满足人们对视频信号连续视觉效果的要求。在几乎静止不动的环境中，当前帧和其邻近帧的图像内容几乎是是完全一致的；而在研究场景中变换的运动目标时，若是能掌握其运动规律，也可以很轻易地地由前面帧的图像推算出它在当前帧中的大概位置。这就是视频序列中的时间冗余。C：心理视觉冗余。总而言之，大部分情况下最终的视频编码系统都是由人类视觉系统来接收的。人类视觉系统理论中提到：人类所感知的图像亮度取决于该点的反射光的强度以及相邻区域的光强。而且，对于不同的视觉信息图像因素等，人类视觉系统表现出了不一样的敏感度。视频中某些信息相比于其他的信息在人类通常的感知过程中更重要，能提供更多的有用信息，也即人眼对该部分信息的敏感度相对要高些。如一定幅度值内的图像信息变化如果相比很微小，人眼是感受不到这样微小的变化的。因此，可以利用人眼视觉系统的这些特点对视频信息中的某些信息进行去除，这些操作并不会对人们去感受图像造成影响，即是不会降低图像质量。这样的特性都可以叫做心理视觉冗余，这充分地利用了人眼视觉系统的一些特点。1.2.2视频压缩编码标准发展历史视频压缩编码标准主要包括两个部分，一个是由国际电信联盟(ITU)所制定的H．26x系列标准，另一个是由国际标准化组织(InternationalStandardizationOrganization．ISO)和MPEG组织(MovingPictureExpertGroup)所制定的MPEG．x系列标准。这些视频编码标准都是为了应对不同领域中对数字音频和数字视频的不同要求而制定的。第一个视频编码国际标准由CCITT公布于1984年，距今已有28年了。例如，3G时代的来临带来了一个非常重要的概念，即可视电话。由于打破的距离的障碍，在有限的带宽上实现了实时视频的传输，该技术一直被认为是一种非常理想的通信技术，可近30年来至今仍未能得到广泛的普及，这是因为满足带宽要求所付出的代价极高，从而造成性价比不高。H.264视频压缩标准由ITU-T/ISO于2003年3月正式公布，同以往标准相比它具有非常优秀的性能，受到了普遍的认可。通过每项性能指标的对比可以发现，在同样视频质量下将H.264与H.263或MPEG-4进行对比发现H.264的数码率降低了接近一半的倍数；或者说在码率相同的条件下，信噪比提高很大。正是因为H.264所体现出的良好性能使得其在国际上受到了广泛地认可和重视。下面按时间顺序对几个重要的视频编码标准作简单介绍[1]：1．MPEG-1标准及MPEG-2标准MPEG-1标准出版于1992年，是一个获得广泛成功的视频编解码器，能够近似VHS录像带的质量或更好地将比特率设定为约1.5Mbit/s。比特率范围覆盖了约1-2Mbit/s的。MPEG-1的缩写由运动图像专家组制定并被其发展。MPEG-1视频（IS11172-2）是ISO/IECJTC1组织的一个项目，于1993年获得批准。在技术功能方面，它增加了双向预测帧（B帧）和半像素运动（半像素运动已经在H.261的发展过程中提出来过，但当时被认为是过于复杂）。对数据进行随机访问的要求和高效压缩造成了冲突，为了解决这个问题，MPEG-1定义了四种图像类型：I帧，P帧，B帧和D图像。在更高的比特率操作时，它提供比H.261更好的质量。（比特率可能低于1兆位/秒，此时H.261的性能更好，因为MPEG-1并没有设计为能够运行在此范围内。）MPEG-2：在比特率，图像质量和知名度上更上一层楼。MPEG-2被称为“21世纪的电视标准”，H.264快速速率估计算法的实现第一章绪论不管是标准清晰度还是高清晰度电视（SDTV和HDTV）。MPEG-2视频（ISO13818-2/ITU-T的H.262）的目的是要包括MPEG-1，同时还要以更高的比特率提供高品质隔行扫描的视频源。MPEG-2视频作为一个正式的ISO/IECJTC1和ITU-T组织的联合开发项目，通常被认为是一个ISO标准，并在1994年年底完成。其主要新技术特点是高效处理隔行扫描图片和层次位使用的可扩展性。其目标比特率范围约为4-30Mbit/s。2．MPEG-4及MPEG-7标准MPEG-4标准正式公布于1998年12月。主要是为了满足窄带多媒体通信等领域的应用要求而制定，其传输码率也限制在64Kbps以下。MPEG-4压缩编码部分所采用的压缩方法的一个特点就是基于内容，使用基于内容的方法作为压缩编码的一个重点，这样做是可以将视频信息的应用从播放型扩展到可以进行基于内容的访问和操作型，丰富了视频信息应用的领域和方式。MPEG-4是一个开放型的标准，对标准中各种技术的具体实现算法不作规定，由此，研究者可以根据标准的要求制定出更新更优更快速的算法。可以