数字媒体基础知识要点

数字媒体技术基础知识要点总结※媒体其含义是中介、中间的意思。同时，媒体又是信息交流和传播的载体。是一种工具，包括信息和信息载体两个基本要素。※两层含义：①传递信息的载体，称为媒介，也称为逻辑载体，如数字、文字、符号、图形、图像、声音、视频、动画、编码等。②存储信息的实体，称为媒质，如纸、磁盘、光盘、磁带、半导体存储器等。也称为物理媒体。※ITU技术角度定义媒介：感觉(语言音乐文字图形图像等)，表示(编码)，显示(输入输出设备)，储存(光盘磁盘等)，信息交换(电缆光纤)，传输(储存和传输媒体或结合)。※特性：多样性、集成性、交互性、数字化。※数字媒体概念：以数字化的形式存储、处理和传播信息的媒体，以网络为主要传播载体，并具有多样性、互动性、集成性等特点，包括信息和媒介。※我国概念：数字化的内容作品以现代网络为主要传播载体，通过完善的服务体系，分发到终端和用户进行消费的全过程。※特性：数字化(数字形式储存处理与传播，可复制重复利用)，交互性(以网络信息终端为介质)，趣味性(数字娱乐)，集成性(多种媒体结合，电脑技术整合)，技术与艺术的融合(信息技术人文艺术)。※传播模式：大众传播模式；媒体信息传播模式；数字媒体传输模式；超媒体传播模式※产业价值链：内容创建，内容管理(存储管理，查询管理，目录、索引)，内容发行，应用开发，运营接入，价值连接成，媒体应用※发展方向：①内容制作技术以及平台②音视频内容搜索技术③数字版权保护技术④数字媒体人机交互与终端技术⑤数字媒体资源管理平台与服务⑥数字媒体产品交易平台。※为什么要数字化：通用的存储和传输格式，数字化后处理更方便；适用于光盘存储远距离传输；准确可靠，无累计失真，属于无损传输和存储。※过程：采样；量化；编码。※采样：对于连续的信号，在时间轴上每隔一定的时间，采集相应的数据的过程。采样定理：采样频率＝原始信号频率的2倍时，可恢复为原始信号。图像采样：用多少个像素点的“列数×行数”表示，是对图像空间进行离散化，称为图像的分辨率。采样频率是指一秒钟时间内采样的次数。※汉字编码：输入码，区位码，机内码，字形码。英文编码：ASCII码※图像分类：二值图像，灰度图像，真彩色图像，颜色索引图像。※音频特征：频率(音调)、振幅(响度)、波形(音色)※音频编码方式：波形编码(脉冲编码调制(PCM)差分脉冲编码调制(DPCM)自适应差分编码调制(ADPCM));参数编码;混合编码※音频质量：采样频率，量化深度(量化分辨率)，音频流码率。※音频编辑：声道，音轨，时序。※电视制式：PAL(中国西欧625,25帧50场)NTSC(美国日本525,29.97帧60场)SECAM(法国东欧同PAL)※视频信号类型：复合视频信号,分量视频信号,S-Video信号。※QCIF(176*144)CIF(352*288)SD(720480,640480,704480,720576)※属性：视频分辨率，图像深度，帧率，压缩质量※镜头：镜头就是从不同的角度、以不同的焦距、用不同的时间一次拍摄下来，并经过不同处理的一段胶片，它是一部影片的最小单位。※镜头组接：即把一段片子的每一个镜头按一定的顺序和手法连接起来，成为一个具有条理性和逻辑性的整体。※转场：影视作品最小的单位是镜头，若干镜头连接在一起形成镜头组。一组镜头经有机组合构成一个逻辑连贯、富于节奏，含义相对完整的电影片段，称为蒙太奇句子。一般意义上所说的段落转换即转场，有两层含义：一是蒙太奇句子间的转换，二是意义段落的转换，即叙事段落的转换。段落转换是内容发展到一定程度的要求。方式如：淡出与淡入、划出与划入、叠化、翻页、运用空镜头等。※内存储器的分类：①按内存的用途分类：主存储器、高速缓冲存储器、显示存储器(VRAM)。②按内存的外观分类：双列直插内存芯片DIP、内存条③按内存的工作原理分类：RAM（SRAM、DRAM）、ROM（PROM、EPROM）※光盘：密度高，容量大，非接触式，保存时间长，价格低廉。分类：数字激光唱盘CD-DA,只读光盘CD-ROM,可刻录光盘CD-R,可重复刻录光盘CD-RW,视频压缩光盘VCD,数字视频光盘DVD※信源：(1)需要传输或存储的原始信息称为“信源”。包括语音、图像、视频等信息源(2)“信源编码”的主要任务是利用一定的编码方法降低数码率，即比特率。※信道：①信息传输的通路②增加可靠性、抗干扰能力，进行“信道编码”，进行奇偶校验，需要增加比特数。抗干越强，增加的比特数就越多。※冗余：空间冗余，时间冗余，结构冗余，知识冗余，视觉冗余，信息熵冗余。※压缩分类：按压缩前后是否有损失，划分为有损压缩和无损压缩。按照媒体的类型进行压缩划分：图像压缩标准，声音压缩标准，运动图象压缩标准。※MP3编码框架：子带滤波组,FFT,MDCT,心理声学模型,量化,编码,比特流组装※JPEG：压缩算法：无损压缩算法（基于DPCM）和有损压缩算法（基于DCT）。特点：(1)低数据率；(2)图像安全；(3)小波变换算法(3)累进传输(精度/分辨率)、实时顺序显示能力(4)健壮的位错误纠正(5)基于内容的描述，随机存取(具备ROI存取、压缩功能)，具有与MPEG-4间的接口(6)能够处理大于64k×64k像素的图像。编码步骤：①数据块的划分②正向离散余弦变换③量化④Z字形编码⑥使用差分脉冲编码调制对直流系数（DC）进行编码⑥使用行程长度编码对交流系数进行编码⑦熵编码。※视频编码模型：时域模型，空域模型，熵编码器。※MPEG-1:系统,电视图像,音频,一致性测试,软件模拟。图像流、伴音流和系统流。采用JPEG压缩算法。运动序列，图片组，图像层，图像切片，宏块，块。I帧：类似JPEG的编码，空域冗余压缩。P帧：运动补偿的帧间预测(用之前帧)。B帧：运动补偿的双向预测(前后帧)。※GOP类型与尺寸：I、P、B帧的构成情况，间隔多少帧会出现一个I帧。传输与解码显示顺序。※MPEG-4：VOP编码类型：内部VOP(I-VOP)：只用到当前帧的编码信息。单向预测VOP(P-VOP)：参考前面的I或P-VOP，利用运动补偿技术来编码。双向预测VOP(B-VOP)：参考前后的I或P-VOP，利用运动补偿技术来编码。全景VOP(S-VOP)：用来编码Sprite对象。※AVS:标准包括系统、视频、音频、数字版权保护等。※核心技术包括：8x8整数变换、量化、帧内预测、1/4精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效应环内滤波等。缺点基于块编码的显著缺点是重建图像存在着块效应。※JPEG编码：DC系数：①根据减法关系求出DPCM编码，如DC系数150为第一个，则DPCM编码为150-0=150，第二个DC系数为155，则DPCM编码为155-150=5，同理②查出DC系数(即DPCM码)对应的分类，如±4~±7分类为3，记作(3,5)③最终编码前半部分通过查表得,后半部分是直接化二进制(负数对应正数反码)。AC系数Z字形：①AC系数RLE编码：(之前系数0个数,当前系数)②NNNN/SSSS编码：(16进制0的个数,当前系数得范围分类)③查表得Huffman※流媒体是指采用流式传输方式的一种媒体格式，类似于自来水。流式传输有两种方法：①顺序流式传输：是顺序下载。下载文件的同时可观看在线媒体，只能观看已下载部分，不能跳到还未下载部分。HTTP协议进行。②实时流式传输：实时传送，特别适合现场广播，随机访问。需要流媒体服务器及实时流传输协议，如RTSP。※特点：缩短等待时间，节省存储空间，可以实现实时传输和实时播放。特性：①端到端延时约束②时序性约束③一定程度的容错性※传输过程：Web浏览器(描述媒体播放器)-HTTP/TCP-Web服务器(检索媒体服务器)。控制信息RTSP/TCP在播放器服务器相互控制。媒体流从服务器传输到播放器※流媒体系统的组成：基本系统（流媒体服务器、流媒体播放器、IP网络），扩展（在IP网络中，可加入一系列应用层中间系统，例如缓存、转码等等），细化。流媒体协议分类：①实时传输协议(RTP）②实时传输控制协议(RTCP)③实时流协议(RTSP)④资源预留协议(RSVP)。※播放方式：单播，广播，组播※为什么需要流媒体服务器：①如果只是一个client、一个server一对一通信，则没有必要用流媒体服务器②然而事实上同一个server需要为大量的client提供服务※流媒体服务器的作用：①接收来自client的播放请求，为其发送相应的音视频码流②数据缓冲③数据调度④流量控制⑤QoS自适应控制※P2P是Peer-to-Peer的缩写，被称为“对等网络”。在网络中的每个结点的地位都是对等的。每个结点既充当服务器，为其他结点提供服务，同时也享用其他结点提供的服务。※特点：①非中心化②可扩展性③健壮性④高性价比⑤隐私保护⑥负载均衡。※IPTV是利用宽带网的基础设施，以家用电视机（或计算机）作为主要终端设备，集互联网、多媒体、通信等多种技术于一体，通过互联网络协议（IP）向家庭用户提供包括数字电视在内的多种交互式数字媒体服务的新兴技术。※组成:IPTV业务系统平台、IP网络和用户端。※IPTV特点功能：点播，双向互动功能，数据库库管理与储存方法※媒体管理发展：人工管理，文件系统，数据库系统※方式：文件系统管理，扩充关系数据库，面向对象数据库，超文本(超媒体)※模型：NF2(复杂对象模型)面向对象数据(相同特征集合,继承,对象标识)对象-关系(代价小,产品多,支持面向对象)※DRM核心实体：用户实体，内容实体，权利实体。※总体框架：商业运营模式、法律制度、社会文化习惯和技术机制等。※分类：依据保护对象分为针对软件的DRM和针对电子书、流媒体等一般数字内容的DRM。依据有无使用特殊硬件分为基于硬件的DRM和纯软件的DRM；依据采用的安全技术基于密码技术的DRM、基于数字水印技术的DRM和密码技术和数字水印技术相结合的DRM。※ODRL权限模型：特定的一段音乐：付10元（即支付义务）可以在一个学期（即时间约束）最多播放（即使用许可）10次（即次数约束）※密码算法：对称密码算法(n个人两两通信，共需n(n-1)/2个密钥,加密速度快，其缺陷是如何安全地分发密钥)。非对称密码算法(克服了对称密码算法的密码分发问题，缺点是计算量大，速度慢)混合密码系统(PGP数据采用对称密码算法加密；对称密码算法的密钥采用非对称密码算法)※数字水印:数字水印是用信号处理的方法在被保护的数字对象嵌入一段有意义的隐蔽的信息（通常是不可见的），这些信息将始终存在于数据中很难去除，用来证明版权归属或跟踪侵权。※特性:隐蔽性\隐藏位置的安全性\鲁棒性※权利描述语言：定义和描述了谁拥有什么数字信息产品的什么权利、按照什么协议和交易方式将哪些权利在什么范围授予给谁。主要有XrML（可扩展权利标记语言）,ODRL（开放的数字权利语言）,MPEG-21REL（MPEG-21的第五部分:核心集，标准扩展集和多媒体扩展集）,OMADRM-REL,OeBFREL※数字检索：基于文本：①查询输入方便，在有准备的文字信息描述是很方便②公开难题，如何提取图像和音视频的语义描述③商业搜索引擎常用。基于内容①从信号处理角度入手，试图检索过程符合人的视觉特征②查询输入不符合人的习惯③公开难题：语意鸿沟④仍停留在研究阶段。※数字版权保护系统：面向电子文档、电子图书、电子图像、流媒体、移动媒体得DRM系统※MWMDRM流程：建立许可证服务器、打包、分发、获取许可证、播放数字媒体文件。规则：次数，设备，有效期，刻录，备份，安全级别。