视频信息处理与传输课程学习综合报告

课程综合报告课程名称：视频信息处理与传输主讲教师：詹曦课时安排：2014-2015第二学期1-14周周三3-5节专业:电子信息工程班级：_电子1102__姓名：___谭刚____学号：__20115347_2014年12月18日第1页共20页目录1前言·····························22课程内容····························32.1视频信息处理与传输概述·············································································32.2视频信息采集技术·····················52.3视频信息压缩编码及标准··················92.4视频信息传输网络及标准···········································································113心得体会····························184参考文献····························19第2页共20页前言：当今是信息化的时代，人们每天要从各种不同的地方获取信息，甚至有人玩笑说这是个信息爆炸的时代，而人类通过视觉获取的信息量约占总信息量的70%，而且视频信息具有直观性、可信性等一系列优点。所以，视讯技术中的关键技术就是视频技术，他更是以其独特的传播信息的方法和快捷方便在人获取信息上发挥着不可替代的作用，占据着重要的地位。同时人们对其传递信息的质量与要求越来越高，数字电视的发展使人们不单只满足于了解信息更希望信息高效观看视频时更清晰更好。而视频网站的迅速崛起，人们越来越希望视频信息可以被在效果和压缩中取得双赢等。所以与此相关的视频信息处理与传输也渐渐被人重视，并且得到了许多的发展，而其中关于视频压缩，视频转码和视频检索更是其中的大热点，并且在这几年发展也很迅速，并且也获得了很大的成功在某些方面。随着科学技术的日新月异，视频信息处理与传输的技术也成了人们关注的一个热点。《视频信息处理与传输》课程中涉及到信息的采集技术，压缩编码及标准，传输网络协议、过滤技术、检索及标准、处理系统及应用等视频信息技术。根据每块内容的重要层次，按照详略对每部分进行学习。视频信息处理于传输是数字媒体技术与传输系列课程中的一门专业必修课。通过学习视频信息处理与传输，系统的理解和掌握视频信息的采集、压缩编码、运动估计、滤波、数字水印的嵌入与抽取、视频信息检索、视频信息传输等数字视频技术，并灵活应用。注重理论与实践的结合，培养在视频信息处理与传输应用领域从事科研、教学和产品设计及管理工作的初步能力。第3页共20页课程内容2.1第一章视频信息处理与传输概述随着科学技术的日新月异，视频信息处理与传输的技术也成了人们关注的一个热点。从采集到应用系统，每步都在提升，此文着重讲了里面几部分比较热门的研究点。视频压缩是为了节约空间和方便传输，依据不同的视频用不同的编码压缩；而压缩之后人们会关注视频还原的质量如何，于是就有了视频质量的评价；信息安全与信息垃圾就如人们的生活中的隐私与生活垃圾一样重要，如何维护信息的安全和如何处理信息垃圾已成为一个热点。视频信息处理与传输的研究领域有：1、采集2、压缩编码3、视频信息处理技术4、视频质量评价5、视频信息检索6、视频信息传输7、视频传输协议8、视频传输质量评价9、应用系统研究热点：1、视频信息检索2、信息安全与信息垃圾3、视频转码2.1.1视频压缩编码：视频压缩的目标是尽可能保证视觉效果的前提下检索视频数据率。视频压缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目的。在视频压缩中常用到以下一些基本概念：一、有损和无损压缩：在视频压缩中有损（Lossy）和无损（Lossless）的概念与静第4页共20页态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越大，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。二、帧内和帧间压缩：帧内压缩也称为空间压缩。当压缩一帧图形时，仅考虑本帧的数据而不考虑其相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频信息数据仍可以以帧为单位进行编码。帧内压缩一般达不到很高的压缩。2.1.2视频质量评价：视频质量评价分为两个方面：主观和客观评价。主观评价：视频质量主观评价凭感知者主观感受评价视频对象的质量，包括视觉信息的录入系统，即人眼成像系统；视频信息处理系统，即人脑对视觉信息的加工。成像系统与信息处理系统两部分互相结合，对视频评价的结果产生显著的影响，目前尚没有合适的数学模型对其进行精确的刻画。客观评价：目前，视频客观质量评价一般是通过模拟HVS的生理特征建立视觉感知模型，并将模型的输出值作为质量的评价或失真的度量，研究集中在如何提高模型输出与主观评价结果的相关性。目前已有多种基于HVS生理特征的质量客观评价方法：感知模拟器模拟人眼时域的平滑效应和掩蔽效应，分析了人眼的不对称评价方式，即相对图像质量从差到好的变化；快效应检测联合掩蔽效应模型进行质量评价能给出质量客观评价，它也可以用于衡量视频块效应的严重程度。2.1.3信息安全与信息垃圾：信息安全是指信息网络硬件、软件及其系统中的数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露。系统连续可靠正常地运行，信息服务不中断。信息安全主要包括以下五方面：保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。信息安全的根本目的就是使内部信息不受外部威胁，因此信息通常要加密。为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。信息垃圾就是那些混在大量有用信息中的无用信息、有害信息，以及对人类社会的各个方面带来危害的信息。它对信息安全应用和转播构成了威胁。比如计算机病毒；通过网络传播的黄色淫秽、背离社会道德、国家法律的信息。第5页共20页2.2第二章视频信息采集技术2.2.1视频信息基础：静态图像+时间-视频信息优点:储存便利便于编辑便于提供新业务图像质量好(数字视频)时变图像构成模型时变图像：图像由三维空间投影到二维平面形成，并随着时间的变化，其场景中的实体也将发生变化的过程形成的。数学表达式:模拟视频模拟视频:视频的记录、存储和传输以模拟的形式进行。全电视信号考虑要索：清晰度、闪烁性、彩色黑白兼容性、占用带宽等权衡。电视扫描:将二维图像变成一维的像素串，或者将一维像素串变换为原图像的过程，称为扫描。行扫描和场扫描。逐行扫描和隔行扫描。数字视频电视图像数字化方法：数字视频结构它由多幅连续的图像序列构成。具有时间和空间二维结构。典型格式：音频：WAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMA视频：第6页共20页AVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV,F4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP,MTS,M2TS,MOD,TOD,SDP,YUV图像：JPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA数字视频格式AVI视频格式ASF视频格式RM视频格式2.2.2视频信息采样理论连续图像需要用空间和时间两种变量对其采样。形成时空图像视频信号。图像的视觉基础图像概念图像是当光辐射能量照在物体上，经过它的反射或者投射，或由发光物体本身发过来的光的能量，在人的视觉器官中所重现出来的物体的视觉信息。图像分类:按其亮度可以分为二值图像灰度图像按色调不同可以分为:无色调的灰度图像有色调的彩色图像图像分辨率：在位图图像处理时必须区分的三种分辨率描述：①屏幕分辨率是指在某一特定显示模式下，计算机屏幕上以水平和垂直的像素表示的最大显示区域。②图像分辨率是指数字化图像的大小，以水平的喝垂直的像素表示。③像素分辨率是指一个像素的宽和长的比例，有时候也称像素的长宽比。人眼的视觉特征：①在亮度大的区域，对灰度误差不敏感。②对亮度信号的空间分辨率大于对色度信号的空间分辨率。③容易感觉到边缘位置的变化。对于边缘的灰度误差不敏感，对灰度变化平缓区域的灰度变化敏感。④画面切换后约100ms时间内，分辨率较低。⑤对不同频率的信号有不同的灵敏度，对高频分量不敏感，允许较粗的量化。视频的采样结构采样：就是把一副连续图像在空间上分割成MxN的网格，每个网格用一亮度值来表示。正交采样点阵:其中，每一个圆圈表示一个像素位置，数字表示采样的次数。第7页共20页二维结构采样:静态图像：二维采样函数：三维结构采样:一个任意周期几何图形的二维采样的概念推广到三维采样结构上对时变图像sc(x,t)=sc(x1,x2,t)的采样。矩阵表示法定义的一个点阵：采样图像的量化图像的空间取样：1、指图像空间位置的数字化，即指图像的空间取样，通过采样把一副完整的图像分割成无数众多的离散像素的阵列。2、指图像灰度的数字化，即指从图像灰度的连续变化进行离散的采样。在数字图像处理技术上，亮度信号的取样频率为13.5MHz，理由如下：①按照奈奎斯特取样定理，取样频率至少应为信号上限频率的2倍，为获得满意的图像质量，在PAL制中亮度信号要求5.8--6MHz的带宽。因此，取样频率应大于12MHz。②为了取样后保证产生足够小的混叠噪声，要求取样频率是信号宽带的2.2-2.7倍。因此对PAL制信号，取样频率应大于13.2MHz。③为了获得正交取样结构，取样频率必须是行频的整数倍。④为了实现两种扫描制度式PAL和NTSC兼容，应采用同一种取样频率，625行制的行频为15.265Hz，525行制的行频为15.734Hz，两者的最小公倍数为2.25MHz。2.2.3CCD图像传感器与视频采集卡CCD图像传感器-工作原理:CCD是一种光电转换半导体器件，在N型或P型硅衬底上生长一薄层的二氧化硅，再在二氧化硅层上依次沉积金属电极，这种规则排列的MOS电容阵列再加上两端的输入、输出二极管就构成CCD芯片。CCD的基本功能是电荷的存储和电荷的转移。工作时，需要在金属栅极上加一定的偏压，形成势阱以容纳电荷，电荷的多少与光强成线性关系。电荷读出时，在一定相位关系的移位脉冲作用下，从一个位置移动第8页共20页到下一个位置，直到移出CCD，经过电荷-电压变换，转换为模拟信号。CCD图像传感器-优点:CCD是一种固体化器件，体积小、重量轻、功耗低、抗震性和抗冲激性好、不受电磁干扰和可靠性高、寿命长。图像畸变小、尺寸重现性好。具有较高的空间分辨率，光谱响应范围宽。光敏元间距的几何尺寸精度高，可获得较高的定位精度和测量精度。具有较高的光电灵敏度和较大的动态范围。视频采集卡-概述视频采集卡(VideoCapturecard)也叫视频卡，是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号等输出的视频数据或者视频音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。视频采集卡的分类:广播级视频采集卡。专业级视频采集卡。民用级视频采集卡。视频采集卡-工作原理：第9页共20页2.3第三章视频信息压缩编码及标准2.3.1视频信息压缩的必要性与可行性必要性：以较少的数据来表示图像，示例节约储存器空间。节省传输信道带宽。加快处理速度。可行性：冗余越大，可压缩的程度就越高。①由于相邻像素之间存