云计算产业中的存储问题解决方案探讨

1云计算产业中的存储问题解决方案探讨中国华录集团有限公司傅景世摘要云计算产业要想获得发展，必须解决数据存储问题（或者说“数据房地产”），必须在与地球资源和环境的可承受力相适应的基础上，在“安全存储、绿色存储、长寿命存储的概念内”寻找解决方案，“融合磁光电存储技术”不仅是最佳的存储解决方案之一，也是基于磁存储技术的旧数据中心向大数据中心方向发展的必然趋势。云计算产业中的存储解决方案，需要根据不同的环境、不同的场合、不同的目的、不同的应用，按照一定的比例优化组合，活用“磁光电存储技术”，“在大数据中心的概念内”解决存储问题。关键词云计算、数据存储、安全绿色长寿命、活用磁光电存储技术、大数据中心一、全球数据增长预测与“解决数据居住问题”的关键2011年2月，IDC《企业级外部存储市场季度跟踪报告》预计，2全球数据总量将在2020年达到35ZB（1ZB=1000EB=100万PB=10亿TB=1万亿GB），是2010年1.2ZB的29倍，由此造成的数据存储需求正在呈爆炸式增长。正是数据存储和数据管理的巨大需求，催生了“云计算”概念的诞生，也催生了“大数据中心”建设的热潮。如果说二十多年的房地产热潮是“解决人居住问题”的话，那么未来信息社会发展的关键是“解决数据居住问题”，而数据居住问题（或者说“数据房地产”）的解决，必须建立在与地球资源和环境的可承受力相适应的基础上，也就是说，必须在“安全存储、绿色存储、长寿命存储的概念内”寻找最佳解决方案。二、大数据中心建设是云计算平台得以建立的前提作为一种以数据和处理能力为中心的密集型计算模式，云计算登上了历史舞台，它的核心技术主要由计算资源管理技术、网络技术、虚拟技术、数据存储技术组成，在保障云计算平台的支撑技术中，数据安全和绿色节能技术最为关键。云计算平台得以建立有两个前提：一是有存储在一定地方的大量数据，二是这些数据不能被改写。没有存储下来的大量数据，无论多么高级的云计算技术都没有用处；应用的是被改写过的数据，任何云计算技术，得到的都只能是错误的甚至是有害的结果。因此，大数据中心建设（能够保证大量数据被安全存储且不被改写）是云计算平台得以建立的前提，在这个前提下，绿色节能技术的3应用能够为建立更多的云计算平台提供地球资源和环境支撑保障。三、以磁存储技术为主流的旧数据中心存在的主要问题由于技术成熟度等历史原因，到目前为止，世界上95%的数据中心都采用“硬盘+磁带”存储方案，其中硬盘用于在线、近线存储，磁带用于归档的离线存储。Google在大数据量应用环境下所做的统计表明：6块硬盘同时工作两年的存活率为54%，同时工作3年的存活率为30%，12块硬盘同时工作5年的存活率只有1%！在实际运行中，“每隔两年”硬盘上的数据就要被重写一次；“每隔5年”磁带上的数据也要被重写一次，旧磁带要重新充磁。在新数据量以每年57%的速率递增的情况下，旧数据的再存储造成了巨大的人力物力财力浪费，关键的问题还在于，约有85%的数据在存储之后就没有被读取过，造成了严重的存储资源浪费。即使这样，IBM苏黎世实验室的研究也指出，在使用企业级SCSI硬盘和RAID5存储100TB数据的情况下，前5年丢失数据的几率是24%！现代企业不能承受大量数据丢失所带来的损失，2011年以后发生的各种信息泄密和丢失事件，正在迫使人们寻找更加安全可靠的数据存储解决方案。四、一种数据存储策略4Gartner存储资深副总裁CarolynDicenzo提出过一种“3-2-1存储策略”，这种策略可以简单地归纳为：“对于要长期存储的数据，至少要有3份拷贝，它们被存储在两种不同的物理介质上，其中一份必须是可移动的，离线的永久拷贝”。按照上述策略，在目前已经存在的磁光电存储技术中，我们应该选择两种存储介质，可能的选项是：（1）磁介质+光介质；（2）电介质+光介质；（3）电介质+磁介质。由于电存储和磁存储的数据都可以改写，在受到电磁冲击时数据都容易消失，介质寿命也相近（5～10年），因此，满足上述存储策略的，只有“磁介质+光介质”和“电介质+光介质”的两种组合方式，因为一次写入光盘的数据不能改写，能够抗电磁冲击，蓝光光盘的寿命超过50年（国外正在开发寿命超过100年光盘）。五、采取磁光电存储方案时的耗电量、碳排放量、耗材成本对比表（一）给出了目前的硬盘、固态硬盘（对应电存储）、BD蓝光光盘的市场价格表，可以看出，目前阶段电存储的成本远大于磁存储和光存储。表（一）目前的硬盘、固态硬盘、蓝光光盘的市场价格表产品品牌单个产品容量（GB）平均价格（元/GB）最低价格（元/GB）最高价格（元/GB）硬盘（磁存储）希捷、西部数据、日立、三星500---20480.660.341.20固态硬盘（电存储）OCZ、Ejitec、Intel、Photofast、金士顿、120---320024.3410.1628.755拓奇、镁光、威刚、三星、现代、创见、源科、实忆、闪迪、捷泰科蓝光光盘（光存储）铼德、万胜、啄木鸟、威宝、紫晶25---500.420.151.00注：硬盘和固态硬盘的入选原则：（1）适合于台式机；（2）单个产品容量在100GB以上。即使目前的电存储成本远大于磁存储，美国仍在尝试将“电介质+光介质”存储解决方案引入到大数据中心建设中，以磁存储技术为主流的旧数据中心存在的现实问题是：（1）运维成本在初期投资成本的5倍以上，而且随着存储时间的延长，运维成本越来越大；（2）空调电费占运维成本的40%以上。在日本，正在尝试将“磁介质+光介质”存储解决方案引入到大数据中心建设中。表（二）给出了10PB数据保存50年的电力消耗和碳排放量对比，三种情况分别对应着“（100%）BD蓝光光盘、（40%）BD蓝光光盘+（60%）磁盘阵列、（100%）磁盘阵列+磁带”存储的情况，如果以磁盘阵列+磁带的存储方案为100%，完全采用BD蓝光光盘存储方案时的耗电量、电费和碳排放量仅为2%，即使采取部分BD蓝光光盘存储方案，三项指标也有相当程度的改善。表（三）给出了10PB数据保存50年时需要消耗的光盘成本和磁（硬）盘成本对比（不含软件升级费、维修费、磁带机费等），三种情况分别对应着“（100%）BD蓝光光盘、（40%）BD蓝光光盘+（60%）磁盘阵列、（100%）磁盘阵列”存储的情况，按档案数据的生命周期为50年计算，BD蓝光光盘只需要“买入1次+写入1次”，磁（硬）盘需要“买入10次+写入25次”，磁带机需要“买入4次+6写入10次+充磁6次”，在不考虑磁带机的买入、写入、充磁费用的情况下，只以磁（硬）盘的买入费用为100%，完全采用BD蓝光光盘时的买入费用仅为6%，同样地，即使部分采用BD蓝光光盘存储方案，耗材成本也有相当程度的改善。表（二）10PB数据保存50年的电力消耗和碳排放量对比存储方案耗电量（万度）电费（万元）排CO2量（吨）耗电量（%）排CO2量（%）100%BD光盘750457.52,5002%2%40%BD光盘+60%磁盘阵列19,20011,712.065,00060%60%100%磁盘阵列+磁带31,75019,367.5107,500100%100%注：电费计算单价---0.61（元/度）表（三）10PB数据保存50年需要消耗的光盘成本和磁盘成本对比存储方案光盘费（万元）硬盘费（万元）成本合计（万元）成本%100%BD光盘4004006%40%BD光盘+60%磁盘阵列1604,2004,36062%100%磁盘阵列7,0007,000100%注（1）：BD蓝光光盘寿命超过50年；磁盘寿命5年，50年需要更换10次；未计算磁带；注（2）：计算成本：BD光盘---0.40（元/GB）、磁（硬）盘---0.70（元/GB）；注（3）：软件费、维修费等均未计。六、光存储技术用于数据存储市场的规模估计2020年，全球数据总量将达到35ZB的规模，一般而言，有归档价值的数据约占20%左右，大约7ZB的规模。在磁光电存储介质中，将归档存储的数据存储在光介质上是最经济的，因此，我们在表（四）中给出了在7ZB数据需要归档存储的总规模下，视光存储技术融入大数据中心产业的成熟度不同，采用不7同的光存储比例方案下（其余的采用磁存储或电存储方式）使用不同规格的光盘进行存储时所需要的光盘数量。表（四）不同光存储比例条件下，使用不同规格的光盘时所需要的光盘数量光存储比例归档存储数据总量(ZB)使用不同规格的光盘时所需要的光盘数量（亿张）1TB盘500GB盘100GB盘50GB盘25GB盘5%0.353.57357014010%0.77147014028020%1.4142814028056040%2.828562805601,12060%4.242844208401,68080%5.6561125601,1202,240100%7701407001,4002,800注：归档存储数据总量=7ZB，数据总量=35ZB从表（四）可以看出，到2020年，35ZB的数据总量中即使只有1%的数据采用光存储归档，也将达到0.35ZB的数据量，完全采用25GB容量的光盘时需要140亿张，完全采用50GB容量的光盘时需要70亿张，完全采用100GB容量的光盘时需要35亿张，完全采用500GB容量的光盘时需要7亿张，完全采用1TB容量的光盘时需要3.5亿张，哪怕把光存储归档的比例稍提高一点儿，也是一个巨大的光盘需求量。由大容量光盘的需求所带来的光存储关键件需求、光存储装备需求等等，将是一个庞大的市场。七、活用磁光电存储技术是云计算产业中大数据中心建设的必然选择8综上所述，可以得出下面的结论：（1）云计算产业发展必须解决数据存储问题（或者说“数据房地产”），数据存储问题的解决必须建立在与地球资源和环境的可承受力相适应的基础上，在“安全存储、绿色存储、长寿命存储的概念内”获得解决。（2）光存储作为安全存储、绿色存储、长寿命存储的最佳解决方案之一，将向大容量光盘的方向发展，基于磁存储技术的旧数据中心需要向“融合磁光电存储技术”的大数据中心方向发展，大数据中心的建设方案需要建立在“安全、绿色、长寿命”的基础上，建立在与地球资源和环境的可承受力相适应的基础上。（3）云计算产业中的存储解决方案，需要根据不同的环境、不同的场合、不同的目的、不同的应用，按照一定的比例优化组合，活用“磁光电存储技术”，“在大数据中心的概念内”解决存储问题。2012年4月22日