HDTV制作中广泛应用的数字媒体领域存储技术

《HDTV制作中广泛应用的数字媒体领域存储技术》学院：通信与电子工程学院班级：电子071姓名：李治军学号：2007131035《HDTV制作中广泛应用的数字媒体领域存储技术》随着数字媒体技术的发展，存储技术在数字媒体领域也得到了广泛应用。特别是数字技术的迅猛变革，使存储数字媒体的技术手段也发生很大变化。在媒体爆炸性增长的同时，广电界十分关心数字技术的未来发展，同时也更加关心数字媒体资产的管理、使用和存储。本文围绕5种常用数字存储技术及在数字视频中的应用进行浅析，供同仁参考。1、SCSI技术SCSI的发展经过三个阶段。SCSI协议的第一版本仅规定了5MB/s的传输速度的总线类型，接口定义、电缆规格等标准。第二版本作了较大修改。SCSI-2协议规定了16位数据带宽。高速的SCSI存储技术陆续成为市场的主流，也使SCSI技术牢牢地占据了随机存储市场。SCSI-3协议增加了能满足特殊设备协议所需要的命令集，使得它既能适应传统的并行传输设备，又能适应最新出现的一些串行设备的通信需要，如光纤通道协议(FCP)、串行存储协议(SSP)、串行总线协议等。由于SCSI技术兼容性好，市场需求大，其技术不断翻新。现在已从5MB/s传输速度的SCSI-1发展到LVD的160MB/s，近期320MB/s的SCSI也已投入使用。SCSI技术广泛应用于非线性编辑、字幕机等制作设备。早期的硬盘播出设备采用该技术构建视音频服务器，但因其可靠性等原因而被新技术取代。高可靠性的大型存储系统，通常把SCSI技术与其它技术结合来实现故障自恢复，提高安全性，达到系统不间断工作的目的。2、存储网络技术它是近年高速发展的技术，具有安全性高、动态扩展性强的特点。许多基于工业标准的网络存储方案已经得到广泛应用。目前在数字媒体领域应用最多的是局域网存储，理论上带宽可达1Gb/s，实测带宽可在700Mb/s左右；其次是光纤通道技术，理论上在全双工的情况下，带宽可达2Gb/s，单通道达1Gb/s，实测带宽可在720Mb/s左右。前者是基于低价位的分布式网络存储方案，后者主要架构采用专用存储，并逐渐向中低市场发展。Intel公司推动的Infiniband是基于IA-64架构的核心存储技术，第一阶段是取代PC,带宽目标是2.5Gb/s;第二阶段达到Cluster应用，带宽目标是30Gb/s。其目标宏伟，是否可被市场接受，技术瓶颈能否突破，人们将拭目以待。存储网络技术近年在视频领域发展迅猛。无论是从管理、制作还是播出都得到广泛应用。但是在目前的技术条件下，形成大型电视台的制播一体网，全台媒体资产的中心存储和统一管理，还有不少的技术难点需要克服。特别是存储网络技术的带宽问题是面临的最大障碍。3、RAID技术RAID是一种由多块廉价磁盘构成的冗余阵列。虽然RAID包含多块磁盘，但是在操作系统下是作为一个独立的大型存储设备出现。RAID技术分为几种不同的等级，可以分别提供不同的速度、安全性和性价比。RAID0是最简单的一种形式。RAID0可以把多块硬盘连接在一起形成一个容量更大的存储设备。但由于RAID0没有冗余或错误修复能力，其安全性大大降低。因此，在RAID0中配置4块以上的硬盘，对一般应用是不明智的。如果其中的任何一块磁盘出现故障，整个系统将会受到破坏，无法继续使用。国内早期，某些视音频服务器采用RAID0技术，几乎没有几台能够长期、安全使用。RAID1和RAID0截然不同，其技术重点全部放在如何能够在不影响性能的情况下最大限度的保证系统的可靠性和数据可修复性上。RAID1又被称为磁盘镜像，每一个磁盘都具有一个对应的镜像盘。RAID1是所有RAID等级中实现成本最高的一种，尽管如此，人们还是选择RAID1来保存那些关键性的重要数据。RAID3是利用一个专门的磁盘存放所有的校验数据，而在剩余的磁盘中创建带区集分散数据的读写操作。RAID3不仅可以像RAID1那样提供容错功能，而且整体开销从RAID1的50%下降为25%(RAID3+1)。随着所使用磁盘数量的增多，额外成本开销会越来越小。在不同情况下，RAID3读写操作的复杂程度也不相同。最简单的情况就是从一个完好的RAID3系统中读取数据。这时，只需要在数据存储盘中找到相应的数据块进行读取操作即可，不会增加额外的系统开销。当向RAID3写入数据时，情况会变得复杂一些。即使我们只是向一个磁盘写入一个数据块，必须计算与该数据块同处一个带区的所有数据块的校验值，并将新值重新写入到校验块中。由此我们可以看出，一个写入操作事实上包含了数据读取(读取带区中的关联数据块)，校验值计算，数据块写入和校验块写入4个过程。系统开销大大增加。我们可以通过适当设置带区的大小使RAID系统得到简化。如果某个写入操作的长度恰好等于一个完整带区的大小(全带区写入)，那么我们就不必再读取带区中的关联数据块计算校验值。我们只需要计算整个带区的校验值，然后直接把数据和校验信息写入数据盘和校验盘即可。到目前为止，我们所探讨的都是正常运行状况的下的数据读写。下面，我们再来看一下当硬盘出现故障时，RAID系统在降级模式下的运行情况。RAID3虽然具有容错能力，但是系统性能会受到影响。当一块磁盘失效时，该磁盘上的所有数据必须使用校验信息重新建立。如果我们是从好盘中读取数据块，不会有任何变化。但是如果我们所要读取的数据块正好位于已经损坏的磁盘，则必须同时读取同一带区中的所有其它数据块，并根据校验值重新建丢失的数据。当我们更换了损坏的磁盘之后，系统必须一个数据块一个数据块的重建坏盘中的数据。整个过程包括读取带区、计算丢失的数据块和向新盘写入新的数据块，都是在后台自动进行。重建活动最好是在RAID系统空闲的时候进行，否则整个系统的性能会受到严重的影响。与RAID3不同，RAID5是将校验数据平均分配到每一个磁盘上，各块硬盘分别独立进行条带化分割，相同的条带区进行奇偶校验(异或运算)，这样就可以确保任何对校验块进行的读写操作都会在所有的RAID磁盘中进行均衡。因此，RAID5具有良好的随机读性能，因为在规定的传输块大小范围内的数据只需访问单个数据驱动器，也克服了RAID3单个冗余盘的局限性。RAID5的主要缺点是降低写功能，因为它是一位或一个字节地写在磁盘上，经过处理后，使数据块1的位或字节写在数据块1上，数据块2的位或字节写在数据块2上，……因此，在写数据时处理的环节比较多，降低了随机写功能。采用IDE硬盘构建RAID的技术是新出现的一个技术方向。由于IDE设备扩展性和IDE设备支持热插拔的技术限制，IDE设备的RAID应用尚不够广泛。在广电业，使用RAID技术最多的是视音频服务器和非线性编辑硬盘塔。其它存储设备也广泛应用，但不如上述设备更加引人注目。3、SAN技术SAN是存储技术进入网络时代的的产物。它一方面能为网络应用系统提供丰富、快速和简便的存储资源；另一方面又能对网上的存储资源进行集中统一的管理，成为当今理想的存储管理和应用模式。它即可以作为电视台业务管理的结构，也可以作为视音频播出服务器的网络化构架。4、NAS技术NAS是目前发展速度最快的数据存储设备之一。在典型的网络架构中，数据成为了网络的中心，NAS设备是直接连接在网络上的。它具有如下的特点：(1)NAS设备是作为单独的文件服务器存在的。网络中所有设备的大多数据均存储在NAS设备上。(2)将NAS设备连接到网络中非常方便。如通过设置简单的IP地址等，就可以即插即用地使用NAS设备。(3)NAS设备使用的方便性，可大大降低设备的管理和维护费用。(4)NAS设备可以支持不同的操作系统平台。同时提供了RAID硬盘、冗余电源和风扇、冗余控制器，可保证7×24小时工作。该技术在数字视频领域用于中心在线存储、网络硬盘服务器和网络非线性编辑等。5、数据流磁带技术数据流磁带技术是一门古老的技术。伴随着技术的不断发展和更新，其容量、读写速度、可靠性的迅速提高，它在广电领域的应用也引起重视。常用的磁带存储技术有三类：1.LTO技术：LTO即线性磁带开放协议，是由HP、IBM和Seagate三家厂商于1997年底联合制定的。它是开放式的技术，三家厂商将生产许可证开放给存储介质和磁带机厂商，使不同厂家的产品兼容。开放性带来更多的创新，兼容已有设备，降低成本和价格，使用户受益。LTO结合了线性多通道、双向磁带格式、硬件数据压缩、优化的磁道存储和高效纠错技术，大大提高磁带的性能。目前LTO支持Ultrium(高速开放磁带格式)和Accelis(快速访问开放磁带格式)。Ultrium格式具有高可靠性、大容量的特点。特别是能单独操作，也可以在自动环境中使用。Accelis则侧重于快速数据存储。它在磁带盒中装有双轨磁带存储器用于加快读写速度。两种格式使用同样的磁头、介质磁道面、通道和服务技术，并共享许多代码。两种格式相较而言，大部分用户更强调存储容量，因而Ultrium技术更引人注目。国内广电业于2002年开始引用该技术作媒体资产存储，这是一个值得重视的技术走向。2.DAT技术：DAT(数字音频磁带技术)最早由HP和Sony开发。它采用螺旋扫描技术，早期主要用于数字音频存储，后来经过改进，用于信息存储领域，而且种种迹象表明，DAT的优势还将继续保持。DAT技术之所以大受欢迎，很重要的原因是其很高的性价比、高可靠性。另外该技术全世界都采用，因此世界范围都可得到该产品的持续供货和良好的售后服务。3.DLT(数字线性磁带)技术：该技术最早于1985年由DEC公司开发，它主要应用于VAX机。当时是高性能、高价格，仅应用于很少领域。经改进后，又重新成为存储领域的热门技术。目前磁带驱动器容量为10～35GB，采用硬件压缩技术，容量可提高一倍。但DLT技术也存在一定的劣势。驱动器和磁介质价格高，主系统和网络之间带宽窄。非标准的外型设计使内部受到很大限制。但该技术仍可视为未来有前途的产品。目前只被少数需要高性能备份的用户采用。特别值得提及，上述各种数据流磁带机均称有硬件压缩技术，可将数据无损压缩一倍或一倍以上。但是在广电数字媒体领域，大部分的数字媒体采用了MPEG-1、MPEG-2和MPEG-4压缩，当把这些数据保存到磁带机上时，数据不能再压缩。如果再次用磁带机的硬件压缩，不但不能压缩数据，而且会增加容量，这是由实验得出的结果。在考虑数据流磁带库容量时，如果存储的是MPEG或JPEG文件，不能按硬件压缩能力设计容量。此外，光存储技术、Cluster存储、IP存储和面向对象的网络数据库存储技术也是蓬勃向上、值得关注的热点，限于篇幅此处略。实际上，上述技术并不是孤立存在的，而是综合应用这些技术来构造系统。例如，GVG公司和Pinnacle公司视音频服务器的存储阵列服务器采用RAID3技术，存储阵列服务器主、备镜像，视音频服务器与存储阵列服务器采用FC的NAS方式。SeaChange公司服务器的存储阵列采用RAID5技术，服务器之间采用Cluster连接、RAID2故障自恢复方式，对外接口用LocalEthernet互联。在系统选型和设计系统时，要充分考虑存储及系统的可扩充能力。例如，网络化的非线性编辑系统，如果硬盘存储阵列采用单通道FC传输，理论带宽是1000Mb/s，实际传输有效带宽约标称带宽的70%左右，在这样的系统上，8个或8个以上精编站同时工作就容易出现等待或死机(容错功能设计不很完善时)现象。如果你定购时按单通道FC硬盘存储阵列设计，以后扩充5个以上精编站，而没有扩充硬盘存储阵列的结构，出现问题也是很正常的。技术在发展，多种存储技术在互相竞争，互相促进和共融，适者生存。没有绝对的先进领先，只有相对的领先。特别是设计数字媒体应用系统时，要根据对像、投资、技术要求来确定选用的存储技术和结构类型，缺乏前瞻和过于追求低价格，都会造成不必要的浪费。