数字媒体技术导论总复习.

总复习•第一章数字媒体技术概论•第二章数字图像•第三章数字音频•第四章数字视频•第五章数字媒体传输技术•第六章数字媒体存储技术•第八章数字媒体压缩技术•第十章数字媒体管理及基于内容的检索技术什么是媒体?媒体（Medium）在计算机领域中媒体有两种含义，一是指用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器；一是指信息的载体，如数字、文字、声音、图形图像、视频和动画等。数字媒体中的媒体是指后者。按照国际电信联盟的定义，媒体分以下5类:感觉媒体表示媒体显示媒体存储媒体传输媒体媒体分类什么是数字媒体?数字媒体是采用数字化的方式通过计算机产生、记录、处理、传播和获取的信息媒体。它包括了数字图像、文字、音频、视频和动画等各种形式，以及传播形式和传播内容中所采用的数字化。什麽是多媒体?“多媒体”一词译自英文“Multimedia”即“Multiple”和”Media”的合成其核心词是媒体多媒体就是多种数字化感觉媒体的组合。[文字、声音、图像、动画、视频以及数据、文件等]1.1.2数字多媒体技术的特性信息载体的多样性交互性集成性第二章数字图像技术2.1基本概念2.2图象基本处理技术2.3图像处理软件-photoshop图象的基本概念--数字图像的描述数字图像是图像的数字表示，像素是其最小的单位，每个象素的亮度称为灰度；一副图象中亮度的最大值与最小值之比称为图象的对比度。数字图像的描述有：1）无彩色图像黑白图象灰度图象2）彩色图像图像文件大小用字节表示图像文件大小时，一幅未经压缩的数字图像的数据量大小计算如下：图像数据量大小=像素总数×图像深度÷8•图象直方图的定义一个灰度级别在范围[0，L-1]的数字图象的直方图是一个离散函数,可表示为：p(k)=nkk=0,1,2,…,L-1即图象中不同灰度级像素出现的次数，横坐标表示灰度级，纵坐标表示图像中该灰度级出现的个数。图象的基本概念-灰度直方图图象直方图的定义举例1234566432211664663456661466231364661234565456214灰度直方图12颜色•亮度、色度和饱和度：人眼看到的任一彩色光都是这三个特性的综合效果。•亮度是表示某彩色光的明亮程度。光作用于人眼时所引起的明亮程度的感觉，与被观察物体的发光强度有关。13颜色•色度：当人眼看一种或多种波长的光时所产生的彩色感觉，它反映颜色的种类，是决定颜色的基本特性。•饱和度：指颜色的纯度即掺与白光的程度，或是指颜色的深浅程度。14几种常用的颜色模型彩色空间有多种不同的表示形式，常用的有红、绿、蓝（RGB）三基色模型、色度、饱和度、亮度（HSI）模型、欧洲定义的PAL制使用的YUV模型，以演播室质量标准为目标的彩色图象压缩方案中采用的YCbCr颜色模型和印刷业常用的CMY,CMYK颜色模型。在多媒体计算机中常用红、绿、蓝（RGB)彩色空间表示，计算机显示器的输入需要红、绿、蓝（RGB)三个彩色分量，通过这三个分量不同比例的组合,在显示器屏幕上可以得到任意的颜色。还须注意的是：在多媒体系统中，不管采用什么形式的彩色空间表示，最后要求输出的都是用RGB彩色空间来表示的。2.2图像基本处理技术2.2.1图象增强2.2.2图像平滑2.2.3图像锐化2.2.4图像几何变换–图象增强的目的是通过对图象的处理，改善画质，使图像更加清晰。–主要的应用：显示、打印、印刷、图象识别与分析等。2.2.1图象增强技术图像增强对比度扩展灰度变换法线性变换分段线性变换阈值变换直方图修正法直方图均匀化窗口变换直方图规定化1灰度变化法•灰度级变换的定义：–对于输入图象f(x,y)，灰度级变换T将产生一个输出图像g(x,y)，且g(x,y)的每一个像素值，都是由f(x,y)的对应输入像素点的值决定的。g(x,y)=T(f(x,y))灰度变换（1）线性变换（2）分段线性变换对比度扩展窗口变换阈值变换把图像的灰度范围[a,b]扩展到所允许的最大灰度范围[min,max],提高图像的对比度，使原来观察不到的一些细节可能更加突出。min]),([minmax)],([),(ayxfabyxfTyxg数学表达式为线性变换线性变换灰度范围的线性变换minmaxg(x,y)f(x,y)ab分段线性变换---对比度扩展bagbfgaffg)()(Lfbbfaaf0255abfg255gagbαγβ对比度扩展的方法：分段线性变换---窗口变换窗口变换：只显示指定灰度级范围内的信息abminmaxr0窗口变换2552552552550（r1,s1）（r2,s2）rs当r1=r2,s1=0,s2=255,此函数图像就变为阈值函数，产生二值图像（黑白位图）分段线性变换--阈值变换s2550255r1阈值变换对比拉伸变换直方图修正•直方图修正是对图象在空间域进行灰度变换而使画面中的细节信息变得清楚可见的图像处理技术。•常用的方法有直方图均匀化。直方图均匀化算法步骤：设f、g分别为原图象和处理后的图像。1)求出原图f的灰度直方图，设为h。直方图均匀化1399821373360646820529260fh03122434415164718293直方图均匀化2）求出图像f的总体像素个数N=m*n（m,n分别为图像的长和宽）计算每个灰度级的像素个数在整个图像中所占的百分比。hs(i)=h(i)/N(i=0,1,…,255)直方图均匀化h03122434415164718293hs00.1210.0820.1630.1640.0450.0460.1670.0480.0890.12直方图均匀化3）计算图像各灰度级的累计分布hp。ikkhihp0)(s)(255,...,2,1,0i直方图均匀化hshp00.1210.0820.1630.1640.0450.0460.1670.0480.0890.1200.1210.2020.3630.5240.5650.6060.7670.8080.8891.00直方图均匀化4）求出新图像g的灰度值。)(255ihpg255,...,2,1i0g0i2.2.2图像的平滑图象平滑的目的是为了消除图象噪声。所谓的图像噪声，是图像在摄取时或是传输时所受到的随机干扰信号。对这些干扰信号的抑制称为图像的噪声抑制。2.2.2图像的平滑•均值滤波（邻域平均法）•中值滤波•具有边界保持的平滑滤波•空域低通滤波•频域低通滤波1均值滤波11111111191H以模块运算系数表示即：121431223457689576885678912143122345768957688567893444566781均值滤波•均值滤波是对图象的局部空间进行理的方法，它有以下特点：–1、算法简单，计算速度快；–2、在降低图象噪声的同时，也使图象产生模糊；–3、所选取的模板越大，图象的模糊程度越高。2中值滤波-设计思想噪声的出现，使该点像素比周围的像素亮（暗）许多，中值滤波就是给出滤波用的模板，对模板中的像素值由小到大排列，最终待处理像素的灰度取这个模板中的灰度的中值，强迫突出的亮点（暗点）更象它周围的值，以消除孤立的亮点（暗点）。2中值滤波与均值滤波类似，做3*3的模板，对9个数排序，取第5个数替代原来的像素值。3具有边界保持的平滑滤波K邻近（KNN）均值（中值）滤波器1)以待处理像素为中心，作一个m*m的作用模板。2）在模板中选择K个与待处理像素的灰度差为最小的像素（包括待处理像素）。3）将这K个像素的灰度均值（中值）替换掉原来的像素值。3具有边界保持的平滑滤波器例：3*3模板，k=5中值滤波121431223457689576885678912143122345768957688567892236787681,1,2,2,21,2,2,2,32,3,3,4,45,6,6,7,76,6,7,7,86,8,8,8,96,6,7,7,76,6,6,7,77,8,8,8,82.2.3图像的锐化图象锐化的目的是加强图象中景物的边缘和轮廓。锐化的作用是要使灰度反差增强。2.2.3图像的锐化•在图像处理中应用微分最常用的方法是计算梯度。2.2.3图像的锐化考虑一个3x3的图像区域，z代表灰度级，可用水平垂直差分法求点z5的梯度值f：f[(z5–z8)2+(z5–z6)2]1/2z2z8z5z3z9z6z1z7z42.2.3图像的锐化如用绝对值替换平方和平方根则：f|z5-z8|+|z5-z6|交叉差分计算法得梯度值：f[(z5-z9)2+(z6-z8)2]1/2f|z5-z9|+|z6-z8|z2z8z5z3z9z6z1z7z4一阶微分算法二、Roberts梯度算法|)1,(),1(||),()1,1(|),(jifjifjifjifjiGf(i+1,j+1)f(i,j+1)f(i,j)f(i+1,j)图像几何变换位置变换图像平移图像镜像图像旋转（产生空洞，插值处理）按比例缩小不按比例缩小（图像畸变）形状变换缩小按比例放大放大不按比例放大（图像畸变）2.2.4图像几何变换第三章、数字声音技术基本概念•音频（Audio）信号通常指的是20Hz～20000Hz频率范围内的可听声。•音频信号可以根据其覆盖的带宽分为电话、调幅广播、调频广播和宽带音频四种质量的声音。•带宽：组成声音的声波频率范围称为声音的带宽。•数字音频技术处理的声音信号主要是人耳可听到的20～20kHz的音频信号(audio)。将模拟声音信号转换成数字编码形式，以便于计算机进行处理的过程。数字化主要过程包括：采样、量化和编码，如图所示：模拟声音信号取样量化编码数字声音011010011101……声音的数字化数字音频的存储量：可用以下公式估算声音数字化后每秒所需的存储量（未经压缩的）存储量=采样频率×量化位数÷8例如，数字激光唱盘（CD-DA）的标准采样频率为44.1kHz，量化位数为16位，立体声。一分钟CD-DA音乐所需的存储量为44.1K×16×2×60÷8=10584KB若使用双声道，存储量再增加一倍3.声音信号的存储格式在多媒体音频技术中，存储声音信息的文件格式有多种，如WAV、MIDI、MP3、RM及CD唱盘数字音频。(1).WAV格式(2).MIDI格式(3).MP3格式(4).RM格式数字视频基本概念1镜头边缘检测及关键帧提取2第四章数字视频处理技术及应用视频中运动目标检测技术3数字视频处理技术应用实例４基本概念•视频(video)：随时间变化其内容的一组图象(24,25,30帧/秒)，又叫运动图象或活动图象(motionpicture)。•常见视频信号：电视，电影，动画等。•视频图像处理技术是指利用数字计算机及其他有关的数字技术，对视频图像施加某种运用和处理，从而达到预期目的。5-55扫描机制•（1）隔行扫描（电视)•（2）逐行扫描（计算机显示图像）5-56电视的制式•色度信息处理方法→三种彩色电视制式•⑴NTSC制式(美国、日本、中国台湾等)•NationalTelevisionSystemsCommittee(1953，美国)•①30帧/秒(29.97fps)，525行/帧②隔行扫描：2场/帧，262.5行/场③颜色模型：YIQ④宽高比：4:3(帧大小：352*240)5-57⑵PAL制式(中国、德国、英国、朝鲜等)•PhaseAlternationLine（相位互换线路规格，1962，德国)•①25帧/秒，625行/帧②隔行扫描：2场/帧，312.5行/场③颜色模型：YUV④宽高比：4:3(帧大小：352*288)⑶SECAM制式(法国、俄罗斯、东欧国家)•“轮流传送彩色与存储”(1966年，法国)•类似PAL制式数字视频文件格式本地视频：1、AVI格式2、MPEG格式3、MOV格式4、DivX格式网络视频：5、ASF格式6、WMV格式7、RM、RMVB格式•镜头边界检测过程首先,某种特征被提取出来作为衡量帧间内容的变化,例如颜色、形状、纹理等特征都可以用来作为对视频帧的描述；