媒体与咨询复习资料

一、存储1、媒资存储网络的存储架构在线存储(OnStore)是工作级的存储，在线存储的最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。其中最主要的在线存储是磁盘存储。早期的在线存储设备主要是服务器内置硬盘，随着对存储的发展，现在在线存储设备还包括光纤磁盘阵列或ＳＣＳＩ磁盘阵列等磁盘设备。在线存储价格相对昂贵，但性能最好。大多数情况下，系统的核心应用都是采用这种存储形式的。所谓的近线存储，就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。（因此，近线存储对性能要求相对来说并不高，但又要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的比较大的比重，这也就要求近线存储设备在需要容量相对较大。传统定义的近线存储设备主要为DVD-RAM光盘塔和光盘库设备。但随着存储设·备的不断发展，现在常用的近线设备为磁带设备。离线存储(OffStore)主要是目前来讲主要使用磁带存储。大多数情况下主要用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级的存储。离线海量存储的典型产品就是磁带或磁带库，价格相对低廉。离线存储介质上的数据在读写时是顺序进行的。当需要读取数据时，需要把带子卷到头，再进行定位。当需要对已写入的数据进行修改时，很多情况下数据都需要全部进行改写。因此，离线存储的主要用于数据的备份和恢复。在大多数的情况下，磁带上的数据会尽量少的进行访问操作。磁带存储价格相对最低，但容量价格比最好。3数据保护：RAIDRAID（RedundantArraysofIndependentDisks）冗余磁盘阵列，是一种将多块磁盘形成一个整体，使之能够在硬盘故障时提供数据保护的技术，可以提高存储系统性能。3-1RAID的实现方式软件RAID是由基于主机的软件来提供RAID的功能，通常在操作系统层次上实现对RAID阵列的管理，而不需要专门的硬件控制器。硬件RAID是通过集成在主机或存储阵列上的专用硬件控制器来实现的，不同的实现在存储阵列与主机的交互形式上有很大的不同。3-2RAID阵列的组成RAID阵列是指一个由多个硬盘以及支撑RAID功能的相关软硬件所组成的封闭模块。RAID阵列中若干个硬盘组成的子集可以构成逻辑上的联合，成为逻辑阵列，也叫RAID集或RAID组。3-3RAID技术一、分条分条（striping）是将数据分布在多块磁盘以实现磁盘的并行使用技术，分条技术能让所有的读写头同时工作，提升性能。条带（strip）：磁盘上一块由若干地址连续的磁盘块构成的，大小固定的区域。条带尺寸（分条深度）描述了构成条带的磁盘块数目。位于RAID集所有磁盘上相同位置的条带构成分条（stripe），分条尺寸是条带尺寸与RAID集中影片的乘积，分条宽度是一个分条所包含的数据条带的数目。条带尺寸=64KB，5块磁盘构成RAID，分条尺寸=5*64KB=320KB分条本身不提供数据保护功能二、数据镜像镜像技术将同一数据存储在2块不同的磁盘上，从而产生该数据的2个副本。一个数据盘发生故障时，控制器仍能利用幸存磁盘上的数据镜像对主机的请求进行响应。用新磁盘替换下损坏磁盘，控制器会自动将幸存磁盘数据的副本拷贝回去，此过程对主机是透明的。镜像不是备份，由于2个磁盘上可以同时响应一个读请求，读性能提高，但一个数据要写2次，写性能下降。三、奇偶校验奇偶校验是一种既能为分条RAID提供数据保护，又能避免镜像开销的方法，往分条中增加一个磁盘来存储校验值，通过数学方法（位异或）构造的校验值能够重建丢失数据。校验RAID，分条尺寸不包含校验分条。如一个由4个磁盘（4+1）组成，条带大小为64KB的RAID，分条大小为4*64=256KB。3-4RAID级别级别简要描述RAID0无容错性的分条阵列RAID1磁盘镜像嵌套RAID多个RAID级别组合，如RAID0+RAID1RAID3带专用校验磁盘的并行访问的分条阵列RAID4带独立磁盘访问和专用校验磁盘的分条阵列RAID5带独立磁盘访问和分布式校验的分条阵列RAID6带独立磁盘访问和双重分布式校验的分条阵列一、RAID0图3-5：无容错性的分条阵列适合对I/O带宽需求很大的应用程序二、RAID1图3-6磁盘镜像适合用于那些对高可靠性有需求切没成本限制的应用三、嵌套RAID图3-71、分条的镜像：RAID1+0或RAID10或RAID1/0，适合用于写密集、随机访问、数据量小的I/O负载，如高事务率的在线事务处理，如订票系统等大型消息服务负载多为写密集型和随机访问的数据库应用注意：整个阵列最多可以有3块不在同一镜像集的磁盘失效而不影响工作2、镜像的分条：RAID0+1或RAID01或RAID0/1，分条集后再镜像，有一个磁盘失效，镜像磁盘中所有数据都将复制，负载加大。四、RAID3图3-8带专用校验磁盘的并行访问的分条阵列适合数据备份及视频流服务等涉及大量顺序流数据访问的应用，可以提供良好的性能。五、RAID4带独立磁盘访问和专用校验磁盘的分条阵列，数据单元可以从单块磁盘中读写，无需访问整个分条，读写吞吐率提高。六、RAID5图3-9带独立磁盘访问和分布式校验的分条阵列客服专用校验磁盘的瓶颈，而将校验值是分布在所有磁盘上，适合较多随机读写及写密集型的应用，在消息系统、数据挖掘、中等性能的媒体服务器以及数据库管理等方面得到应用。一、RAID6图3-10引入第二个校验元素，解决RAID组中2块磁盘失效问题，但写和重构效率不如RAID53-4RAID对磁盘性能的影响IOPS：I/OOperationsPerSecond写代价：对于基于镜像和校验的RAID系统，每次写操作都会对磁盘产生额外的I/O开销。RAID5的写代价：Ep=E1+E2+E3+E4(异或)，Epnew=Epold-E4old+E4new，写操作包含对Epold、E4old的读和Epnew、E4new的写，代价为4RAID6代价为6应用程序的IOPS和RAID配置例子分析：应用程序的I/O吞吐量为5200IOPS，60%为读访问RAID5磁盘负载=5200*0.6+4*0.4*5200=11440IOPSRAID1磁盘负载=5200*0.6+2*0.4*5200=7280IOPS若硬盘的最大吞吐量为180IOPSRAID5的磁盘数=11440/180=64块RAID1的磁盘数=7280/180=42块(最接近的偶数)3-6各种RAID的比较RAID最少磁盘数存储利用率开销读性能写性能写代价数据保护02100低随机和顺序都很好很好无无1250高较好，比单个磁盘高较好，比单个略慢中镜像保护嵌套450高很好较好中镜像保护33(n-1)*/n中随机读较好，顺序读很好对琐碎的随机写不好，对大型连续写较好高可以对单磁盘失效的校验保护43(n-1)*/n中随机和顺序读都很好随机和顺序写都很好高可以对单磁盘失效的校验保护53(n-1)*/n中随机和顺序读都很好随机和顺序写都很好高可以对单磁盘失效的校验保护64(n-2)*/n中随机和顺序读都很好随机和顺序写都很好非常高可以对双磁盘失效的校验保护3-7热备用热备用是指RAID阵列中用于临时替代RAID阵列中故障硬盘的备用硬盘。热备用硬盘从存货硬盘或通过校验回复数据，新硬盘加入再将数据复制到新硬盘上。热备用硬盘可以自动启动或用户启动。二、编目系统1、编目的概念媒资数据的编目：是根据视音频数据的特征，对其外显或内隐的属性进行提炼或归纳，在相关编目标准的指导下对视音频数据进行著录、标引，并组织、制作各种检索目录或检索途径和工具的工作。2、编目软件的基本功能编目软件是媒资系统中重要的组成部分，能够进行视频结构切分、输入编目信息、抽取关键帧等。3、编目模块在系统中的位置1）清楚编目模块在系统中的位置和作用：上载、转码、导入之后，编目过的节目才可以查询2）编目需要视频的低码副本4、元数据相关内容1）元数据（MetaData）概念，在内容管理系统中的作用：元数据是关于数据的数据、元数据的著录贯穿整个流程2）元数据标准：都柏林DC、MPEG-7、广播电视音像资料编目规范，他们之间的关系我国的编目规范参照了都柏林DC和MPEG-73）MPEG-7：多媒体内容描述接口、目标、MPEG-7标准内容的抽象描述、MPEG-7标准的组成部分、MPEG-7多媒体描述方案MPEG-7：多媒体内容描述接口（MultimediaContentDescriptionInterface）不是信息压缩标准，而是一种多媒体内同描述的标准，定义了描述符、描述语言和描述方案，便于处理多媒体内容，其主要目标：对多媒体信息内容进行各种标准化的描述和有效的检索。4）广播电视音像资料编目规范：我国视频节目的四层结构、主要著录项一组概念节目（program）：具有独立主题意义的，已经制作完成的完整的视音频资料。相对于节目而言，具有使用价值的、可用于制作节目的视音频资料称为素材(material)。视频文件以节目或素材为单位。一般受限于拍摄用的磁带的长短、主题内容等。片段(sequence)：节目或素材中一段连续的视音频，由一个以上节目层片段层场景层镜头层镜头层场景层镜头层镜头层题名主题描述创建者其他责任者出版者版权语种日期类型格式标识符时空覆盖范围来源关联题名主题描述创建者其他责任者出版者版权语种类型格式标识符时空覆盖范围来源关联题名主题描述日期格式关联题名主题描述格式关联电视音像资料编目元数据的层次结构及元数据项相互关联的场景构成。场景(scene)：节目或素材中背景或场面不变的一段连续的视音频部分，有时间或空间上相关的多个镜头构成镜头(shot)：同一摄像机一次摄录的连续画面。关键帧（keyframe）：来源于计算机动画，相当于二维动画中的原画。指角色或者物体运动或变化中的关键动作所处的那一帧。在视频中一般指能代表视频内容的那一帧。视频结构切分：视频结构切分后的元数据：入点和出点（或者是入点和时长），表达的形式为：hh:mm:ss:ff（时分秒帧，PAL制的25帧/s，NTSC制30帧/s），或者是用帧号表达。如PAL制的视频文件，入点为00:03:48:12，其帧号为（3*60+48）*25+12=5712；编目方案：简要说明切分方案说明关键帧抽取方法说明各层主要著录项5）元数据交换和传输标准6）可扩展标记语言：XML——结构化文档5、结构化文档：是内容管理系统中的重要媒体类型，与一般文档格式相比，结构化文档使用标记语言并链接到扩展文本和信息。其主要相关标准是SGML、HTML和XML。6、Xml、SGML、HTML之间的关系、概念等HTML是SGML的一个子集。SGML使用标签来标志文档中的文本或图形之类的元素，并告诉Web浏览器该如何向用户显示这些元素，以及应该如何响应用户的行为，例如当用户通过按键或鼠标单击某个链接时该如何响应。XML实际上是Web上表示结构化信息的一种标准文本格式。XML同HTML一样，都来自SGML(标准通用标记语言)。xml和html最大区别：a)XML是用来存放数据的；b)XML是被设计用来描述数据的，重点是：什么是数据，如何存放数据。c)HTML是被设计用来显示数据的，重点是：显示数据以及如何更好显示数据。三、检索1、素材处理：基本原理和方法素材处理过程的基础构成：特征提取、特征解析、查询引擎2素材管理系统对一个素材对象管理的多重版本原始磁带拷贝：传统的模拟格式或者数字视频磁带，必须存在一个该拷贝的引用参照。高品质文件拷贝：原始拷贝的文件版本。信号质量同原磁带拷贝，一般在上载时编码产生；数字带视频上载文件将保留原格式。EDL浏览副本：中等品质文件拷贝，用于剪辑和离线编辑（EDL:编辑决策列表）内容浏览副本：低品质文件拷贝，用于网络环境的浏览和编目时视频。关键帧：静态帧，从素材内自动或手动提取。4光纤通道存储区域网络