媒体及媒体技术

第二章媒体及媒体技术2.1媒体的种类和特点2.1.1常见的媒体元素文本–文本是计算机文字处理程序的基础–文本数据可以在文本编辑软件里制作–文本文件分类•非格式化文本•格式化文本文件文件–带有各种文本排版信息等格式信息的文本文件–段落格式、字体格式、文章的编号、分栏、边框–文字的变化：格式（sty1e）、字的定位（align）、字体（font）、字的大小（size）2.1.1常见的媒体元素图形–图形的概念一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合，在图形文件中只记录生成图的算法和图上的某些特征点，也称矢量图。–line（x1,y1,x2,y2,color）–circle（x,y,r,color）2.1.1常见的媒体元素图形–图形的特征•图形是对图象进行抽象的结果（人工或自动）；•图形的矢量化使得有可能对图中的各个部分分别进行控制（放大、缩小、旋转、变形、扭曲、移位等）•图形的产生需要计算时间2.1.1常见的媒体元素图像–图像的概念•图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。•静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。2.1.1常见的媒体元素图像–图像的主要技术参数•分辨率–屏幕分辨率计算机显示器屏幕显示图像的最大显示区–图像分辨率数字化图像的大小–像素分辨率像素的宽高比，一般为1∶12.1.1常见的媒体元素图像–图像的主要技术参数•图像灰度–每个图像的最大颜色数–2位：黑白2色；–4位：16色；–8位：256色；–24位：真彩色•图像文件大小–（高×宽×灰度位数）/8字节2.1.1常见的媒体元素图像–图形与图象的关系•图形是矢量概念，图元；图象是位图概念，象素；•图形显示图元顺序；图象显示象素顺序；•图形变换无失真；图象变换有失真；•图形以图元为单位修改属性、编辑；图象只能对象素或图块处理；•图形是对图象的抽象，但在屏幕上两者无异2.1.1常见的媒体元素视频–视频的概念视频源于电视技术，它由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉。2.1.1常见的媒体元素视频–视频的制式•PAL制（625/50）每秒25帧，水平扫描线为625条，水平分辨率240~400个像素，隔行扫描。62年诞生于德国，应用于中国、新加坡、欧洲地区等（Pal-B、D、G、H、I、N、NC）。•NTSC制（525/60）每秒30帧，水平扫描线为525条，水平分辨率240~400个像素，隔行扫描。53年诞生于美国，应用于美国、日本、台湾等（NTSC-M、NC、Japan等）。2.1.1常见的媒体元素视频–视频的制式•SECAM制（625/50）每秒25帧，水平扫描线为525条、水平分辨率625。由法国人提出，应用于俄罗斯、法国、非洲地区等。–视频的数字化指在一段时间内以一定的速度对视频信号进行捕获并加以采样后形成数字化数据的处理过程。2.1.1常见的媒体元素视频–视频的技术参数•颜色空间–R、G、B（红、绿、蓝）–Y、U、V（Ｙ为亮度，U、V为色差）–H、S、I（色调、饱和度、强度）–可以通过坐标变换而相互转换•帧速–每秒钟显示的帧数目，计量单位为帧率（fps）–视频根据制式的不同：30帧/秒（NTSC）、25帧/秒（PAL）2.1.1常见的媒体元素视频–视频的技术参数•数据量–帧速×每幅图像的数据量（不计压缩）•图像质量–与数据源质量有关（：表示“好于”）RGB视频YUV视频Y/C视频(S视频)复合视频–与视频数据压缩的倍数有关2.1.1常见的媒体元素音频–分类•波形声音–包含了所有的声音形式，它可以把任何声音都进行采样量化，并恰当地恢复出来。2.1.1常见的媒体元素音频–分类•语音–人的说话声虽是一种特殊的媒体，但也是一种波形，所以和波形声音的文件格式相同。2.1.1常见的媒体元素音频–数字声音波形质量的主要技术参数•采样频率–等于波形被等分的份数，份数越多，质量越好•11.025KHZ、22.05KHZ、44.1KHZ•采样精度–每次采样信息量•8位、16位•通道数–声音产生的波形数•单声道、立体声道、5.1声道2.1.1常见的媒体元素动画–动画的概念运动的图画，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续，即播放的相邻两幅图像之间内容相差不大。–计算机设计动画方法•造型动画•帧动画2.1.1常见的媒体元素动画–帧动画2.1.1常见的媒体元素动画–帧动画2.1.2媒体的种类视觉2.1.2媒体与多媒体听觉触觉其他感觉2.1.3媒体的性质和特点各种媒体具有不同特点和性质–媒体是有格式的–不同媒体表达信息的特点和程度各不相同–媒体之间可以相互转换–媒体之间的关系也具有丰富的信息媒体具有空间性质–表现空间–媒体按相互的空间关系进行组织–视觉空间、听觉空间和触觉空间这3者既相互独立又需要相互结合2.1.3媒体的性质和特点媒体的时间性质–表现需要时间–媒体在时间坐标轴上的相互关系媒体的语义–媒体的语义是有层次的–抽象的程度不同，语义的重点也就不同媒体结合的影响–媒体结合是多层次的–媒体结合有利于信息接受和理解隐喻–交互的概念模型，也称心智模型2.2听觉媒体技术2.2.1声音心理学1.声音的量纲声音的振动是一种正弦波，声音的变化必须确定三件事：频率（变化的速度）、幅度（产生的压力）、相位（何时开始）。另外一方面，人们可以感觉到声音的强弱，可以感觉到歌唱家音调的高低。因此，声音的量纲分为声音的物理量纲和心理量纲。2.2.1声音心理学物理量纲可以用精确的值来描述，但对某一具体声音得来的心理印象却不容易说明白，因为心理印象要由被测者的经验而定。声音的心理属性和物理属性不可等同，首先，这些关系不是线性的；其次这些关系不是孤立的；第三这些关系不是不变的。2.2.1声音心理学两者之间确有关系：例如声音的响度取决于强度和频率两个因素，如果频率不变，强声显得比弱声要响些。但如果强度不变，过高频率的声音和过低频率的声音似乎比中频的声音听起来都要弱一些。由此可见，响度依赖于频率，原因是人耳能反应的频率范围是有上限和下限的。2.2.1声音的量纲2.2.1声音心理学2.听觉特性等响曲线由于响度与频率和强度有关，所以在不同频率上的强度是不同的。先设一个音为标准音，给予固定的频率、强度和持续时间，例如1000Hz、40分贝、持续0.5秒；再给一个音也持续0.5秒，但频率不同，通过调整使其响度听起来一样，得到的这样一组曲线称之为等响曲线。等响曲线描述的是响度与频率和强度的关系。从声音心理学考虑，对同一响度的声音在频率上和强度上可以有很大的差别，这对声音表现有重要意义。2.2.1声音心理学掩蔽（masking）声音的响度不仅取决于自身的强度和频率，而且也依赖于同时出现的其它声音。各种声音可以互相掩蔽，也就是说一种声音的出现可能使得另一种声音难于听清。由于声音的掩蔽效果，可以欺骗人的听觉。例如，本来是多种频率的声音的复合，但听众以为是另一种声音。所以，声音的掩蔽特性常常用于声音的压缩。2.2.1声音心理学临界频带在频率的某一临界区里，各种声音是相互作用的，合成声音的响度由这些频率共同决定。如果超出临界区，声音的响度不再相互作用，声音的响度随频率的改变而改变。这个临界区就是临界频带，其宽度视其中心频率而定。对于临界频带的确定，使得对声音响度的处理能够有的放矢。2.2.1声音心理学相位从声音的波形来看，声音的起点和方向也要反映声音的特性，这就是声音的相位。当两个声音相同相位完全相反时，它们将相互抵消；当两个声音相同而且相位也相同时，声音就会得到加强。相位的确定对于多声道声音系统的设计非常重要，其可以应用在回声的消除、会议系统的声音设计上。2.2.1声音心理学自然声音的时变现象声音的音调分成三个区域：起始区、稳定状态区、延迟区。研究表明，音调的频谱分量随时间改变。在稳定状态区，频谱保持固定。在起始区，振幅频谱随时间变化。因此自然声音的起始部分是非常难识别的。例如刚听了一小节音调后要识别乐器，专家也会觉得较难。时变现象用于数字系统中，说明声音中的某些错误是不太容易发现的，但如果出现停顿就很容易引起人的注意。2.2.1声音心理学听觉空间人耳可听到来自各个方向的声音，并用不同的因素来判定声源的位置。声源的位置不论对于增进人们的感受还是增进对声音的理解，都是非常重要的。通过声音的精确再现，就可以构造出听觉空间。方位的线索是各种声音到达两耳的精确时间和强度。2.2.1声音心理学听觉的频谱特性声音是时间函数，通过傅里叶变换可做出其频谱图。人耳对频谱成分的波峰和波谷是非常敏感的。在语言中，元音很少有频谱变速变化的区域。基频改变，人耳是很敏感的。例如：快进的录像，音调会发生变化。音色非常复杂，目前尚在研究中。音色的处理将使我们能识别音源，音色也代表和声音有关的主观质量。2.2.1声音心理学声音的心理模拟通过人工真实的方法，可以对视觉空间的景物进行再造或虚构，同样也可以对听觉空间的声音进行心理的模拟，这就是所谓的可听化（audiolization）。用声音可以表达出一些声音的效果。2.2.2音频的数字化和符号化从人与计算机交互的角度看，音频信号的处理包括下述3点：人与计算机通信，也就是计算机接收音频信号。包括音频获取、语音的识别和理解。计算机与人通信，也就是计算机输出音频。包括音乐合成、语音合成、声音的定位以及音频视频的同步。人-计算机-人通信。人通过网络与异地的人进行语音通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输、基于内容的检索等。2.2.2音频的数字化和符号化1．音频的数字化与再现在计算机中，所有的信息都以数字来表示。声音信号也是由一系列的数字来表示的，称为数字音频。数字音频的特点就是保真度好，动态范围大。数字声音是一个数据序列。它是由外界声音经过采样、量化和编码后得到的。2.2.2音频的数字化和符号化对声音进行采样用奈奎斯特采样定理来决定采样的频率。根据该定理，只要采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。因为人耳所能听到的频率范围为20Hz到20KHz，所以实际的采样过程中，为了达到好的效果，就采用44.1KHz作为高质量声音的采样频率。如果达不到这么高的频率，声音恢复的效果就会差一些，例如电话声音的质量等。一般来说，声音恢复和采样频率、信道带宽都有关。2.2.2音频的数字化和符号化2.2.2音频的数字化和符号化与数字音频相关的重要特性：采样频率采样频率与声音的质量关系最为紧密。采样频率越高，声音质量越接近原始声音，所需的存储量便越多。标准的采样频率有三个：44.1KHz，22.05kHz，和11.025kHz。采样位数存放一个采样点所需的比特数。一般的采样位数为8位或16位，即把声音采集为256等份或65536等分。2.2.2音频的数字化和符号化声道数有单声道、双声道和多声道。如多种语言音频混存时，需要多声道数据量2.2.2音频的数字化和符号化2．声音的符号化波形声音可以把音乐、语音都进行数据化并且表示出来，但是并没有把它看成音乐和语音。对于声音的符号化（也可以称为抽象化）表示包括两种类型：一种是音乐，一种是语音。2.2.2音频的数字化和符号化（1）音乐的符号化－MIDIMIDI(MusicInstrumentDigitalInterface)是指乐器数字接口的国际标准。MIDI消息，是指乐谱的数字描述。任何电子乐器，只要有处理MIDI消息的微处理器和合适的硬件接口，就构成了一个MIDI设备。当一组MIDI消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音乐。MIDI的关键是作为媒体能够记录这些音乐的符号，相应的设备能够产生和解释这些符号。它给出了一种得到音乐声