存储技术交流

存储产品及技术交流汇报人：宏杉科技-龚锦龙日期：2011年6月目录存储行业的故事主流存储技术对比分析MacroSAN产品技术介绍3计算机时代网络时代1.初始计算机应用开始起步，增长缓慢2.普及学习不断深入，应用逐步提速3.发展迅速发展，系统林立，矛盾凸现4.系统内集成统一规划，制定标准，走向集成5.全社会集成跨部门，跨系统的网间互联，信息共享6.成熟信息化发展能够满足社会经济发展的需要转折点1理查德¡诺兰模型转折点2云时代数据大集中云信息化发展规律3,0001,000100100197019801990200020102020用户数量(百万)20052010以大型机为中心以服务器为中心以网络为中心以数据为中心数据中心IT建设的中心计算网络存储对数据进行处理（计算、应用、编辑、检索等），满足应用需求将多个不同的通信实体连接在一起，实现数据的跨空间传输记录数据，保护数据，克服时间障碍数据数据数据中心的3大组成部分这世界很精彩¡1、应用系统；2、操作系统3、主机设备；4、传输/连接设备5、存储设备6、备份设备7、备份软件系统的兼容性数据调度整合系统的可靠性系统的安全性面对庞大的IT系统用户常常无从选择数据库流媒体高性能计算¡这世界也很无奈大家都在各说各话...IBM的优势是什么？您可以获得行业中最好的存储产品、技术、服务和解决方案，而无需担心处理不同硬件和软件供应商及系统集成商所带来的复杂性。EMC公司是全球唯一专注于提供智能化企业级存储解决方案的公司。目前已被信息产业界公认为提供智能存储系统解决方案的世界第一位。HitachiDataSystems注重从用户的角度出发，我们注重从客户角度出发，以独特的方式满足用户复杂的商业需求。我们的系统提供无与伦比的业务灵活性、超级的应用程序正常运行时间、简化的管理，并为您的企业带来突破性的价值。其实没那么神秘很多事情我们感到困惑，是因为忘记了它的来龙去脉¡¡存储很复杂么？连接方式：内部总线（内置：机内硬盘）连接方式：服务器直连（直连：DAS）连接方式：IP/FC网络（网络：SAN、NAS）?扩展能力、可靠性提升?服务器与存储绑定，共享困难，利用率低，管理复杂?分离服务器与存储?服务器和存储大规模互访服务器内置硬盘?服务器和存储死死绑定?性能低、数据可靠性差、扩展困难FCSAN/IPSAN/NAS服务器存储子系统服务器的数据总线延伸追本溯源¡存储系统的演绎过程存储系统应用服务器存储网络物理磁盘逻辑卷物理卷（RAID）LUN1LUN2LUN3文件系统文件系统应用系统文件系统物理卷逻辑卷网络传输存储的本质¡简化数据管理简化手段¡分而治之！目录存储行业的故事存储主要技术点介绍MacroSAN产品技术介绍StorageAreaNetworks(SAN)文件系统存储RAID（JBOD）应用系统网络文件系统存储RAID（JBOD）应用系统网络Network-AttachedStorage(NAS)Direct-AttachedStorage(DAS)存储JBOD应用系统RAID文件系统技术点1¡主机访问模式FC传输IP传输FCSANIPSAN相似相同最大差异FCSANvsIPSAN项目SAS架构FC架构SAS的价值传输架构交换架构仲裁环架构更高的性能和稳定性带宽支持端口捆绑，4路宽端口带宽达24Gb单条链路4/8Gb，不支持端口捆绑SAS阵列具备更高的带宽，消除传输瓶颈并发访问多通道并发访问，同一时间允许多块磁盘传输数据令牌环机制，同一时间只允许1块磁盘传输数据FC阵列随着磁盘增加性能下降；SAS阵列不存在瓶颈，鼓励满配置可扩展性理论上支持16128个设备理论上支持126个设备SAS阵列具备更好的扩展性磁盘类型支持15000/10000/7200三种转速支持15000/10000两种转速FC需协议转换才能兼容低转速大容量磁盘磁盘兼容性可同时用于存储阵列、服务器，兼容SATA只用于存储阵列，不兼容SATASAS硬盘是大势所趋技术点2¡磁盘访问架构：SASvsFCSAS在业界的应用16EMC：VNX（CX4下一代，SAS2.0）IBM：V7000（新产品，SAS2.0）HP：P4000、P6000（EVA下一代）HDS：AMS2000系列（SAS1.0）Netapp:FAS3000/6000（混合架构）SAS架构FC架构低端中端高端包括EMC、IBM、HP、HDS在内的几乎所有厂家的产品（SAS1.0）HDS：VSP系列（新产品，SAS2.0）IBM：DS8800（新产品，SAS2.0）EMC：DMX系列HDS：USP系列（老产品）IBM：DS8700（老产品）极少数厂家EMC：CX4系列IBM：DS5000HP：EVA系列（老产品）Netapp:FAS3000/6000（混合架构）硬盘厂家的路标17FC硬盘(3.5寸)已经不再有新的产品型号10/15K转硬盘全部都是SAS接口7200K转的2.5寸硬盘是SAS/SATA接口7200K转的3.5寸硬盘是SAS/SATA接口SSD硬盘以2.5寸SAS为主，保留3.5寸FCXRAID0RAID1RAID5RAID10RAID6容错性无允许坏1块盘允许坏1块盘最多允许坏一半磁盘允许坏2块磁盘读性能最高最低较高较高较高连续写性能最高最低高高较高随机写性能最高低低高最低最少磁盘数2块2块3块4块4块有效容量N*单块硬盘容量（N/2）*单块硬盘容量（N-1）*单块硬盘容量（N/2）*单块硬盘容量（N-2）*单块硬盘容量技术点3¡常用RAID类型硬盘类型容量性能可靠性价格综合FC硬盘SATA硬盘（企业级）SAS硬盘很好好一般差很差技术点4¡企业级硬盘的选择4000GB大容量硬盘带来的问题20容量100GB300GB750GB1000GB146GB300GBSAS硬盘250GB400GB500GB750GB1TBSATA硬盘500GB200773GB450GB200320082010600GB20052TB2009类型业务压力重建时间2TBSATA(7200转)无业务压力20小时持续写压力5-6天600GBSAS(15000转)无业务压力4小时持续写压力22小时2000GB表：硬盘初始化/重建时间测试环境：RAID5，5+1块硬盘：1块2TBSATA磁盘在无流量压力下的重建时间！20小时4TB20113TB2011900GBSSD（SolidStateDisk）硬盘泛指由控制单元和固态存储单元（DRAM或Flash芯片）组成的存储设备，目前更适合随机读比例较高，响应时间要求苛刻的应用场合SSD分SLC和MLC两种，主要差别在于擦写次数和性能。目前支持SATA、FC、SAS接口。VS.相比机械硬盘，SSD优点如下：数据存取速度快：在密集的IO读写和低延迟方面与传统硬盘对比性能优异；故障率低：内部不存在任何机械部件，内部全部采用闪存芯片绿色环保：工作时静音，发热量小，散热快重量更轻：有利于移动设备的携带。SSD硬盘介绍视频监控高性能计算数据库应用吞吐量（带宽）每秒IO数（IOPS）邮件系统VS同一套存储设备，带宽和IOPS的关系是：带宽＝IOPSx块大小带宽（MB/s）：反映的是存储的吞吐能力，用来评判顺序的、大IO块的业务系统的性能指标；每秒IO数（IOPS）：反映的是存储对请求反应的快慢关注的是反应时间，用来评判随机的、小IO块的业务系统的性能指标技术点5¡性能的主要评判指标用户业务模型随机为主还是顺序为主？读为主还是写为主不可改变的因素，一般随时间变动存储系统的处理能力硬件体系架构CPU处理能力等缓存大小，缓存处理算法配置(RAID、磁盘)磁盘类型：SSD、SAS/FC、SATA主要RAID5和RAID10的选择需紧密配合第一个因素影响性能的3大因素常见应用系统的IO模型汇总应用系统IO特征IO块大小关注点文件服务器(NAS,FTP)一般使用较小的数据块请求，并体现随机特征请求大小在512B到64K之间分布大文件：带宽小文件：IOPS打印服务器通常使用较大的数据块请求一般为64K带宽BBS系统使用零散的文件存放文章，访问模式基本是小文件随机读写多在512B到64K之间分布带宽/IOPSWEB服务器通常使用较小的数据块，并体现随机特征一般为512B-512K带宽/IOPS数据库系统一般都表现为大量的IO访问，对带宽要求较低，主要是随机访问一般为4-16KIOPS，OLTP邮件服务器一般为随机访问一般为4-16KIOPSVMWare主要是小块随机访问为主一般为4-16KIOPS视频监控通常是顺序的大数据块读写请求，对带宽的压力非常大一般为64K及以上带宽非线编通常是顺序的大数据块请求，对带宽的压力非常大，而对IOPS压力较小一般为64K及以上带宽缓存对于性能的提升25前端总线后端总线读缓存写缓存前端总线后端总线磁盘CPUCPUCPUCPU读缓存写缓存镜像通道主机接口主机接口磁盘接口磁盘接口数据流主机接口前端总线后端总线镜像通道磁盘接口CPU内存磁盘组返回写完成44%硬件故障49%软件\人为\病毒故障本地数据中心保护在线¡解决软灾难近线¡解决部分硬灾难归档¡离线归档保存软件故障,32%硬件故障,44%人为错误,14%病毒影响,3%自然灾难,7%灾难分类示意图7%自然灾难远程灾备保护备份级数据级应用级数据保护方式应对技术点6¡灾难类型及数据保护镜像快照复制创建源数据的多个时间点的副本；副本不是全拷贝，而是相邻时间点之间的数据变化量；创建副本如拍照一样迅捷源数据被创建和更新的同时，其副本也被创建和更新了创建和实时更新源数据的副本，过程分两阶段：-首次全数据同步-同步变化数据，实时更新数据保护备份利用传统备份软件，将源数据以相同或者不同的格式在磁盘或者磁带介质上创建副本T1T2数据保护技术的核心是创建源数据的副本！数据保护技术$10,000$1,000$100$10$1$0199219931994199519961997199819992000200120022003ATADiskYear$PerGBTape$10,000$1,000$100$10$1$0199219931994199519961997199819992000200120022003ATADiskYear$PerGBTape单块磁盘容量的不断增长，每GB价格的不断下降磁盘备份作为磁带备份的补充，甚至可完全替代磁带备份VTLD2DCDP备份技术新的发展趋势抽象Abstract统一数据管理、保护功能统一数据管理、保护功能¡Virtualization¡降低管理难度降低管理难度降低总体成本降低总体成本提高可扩展性提高可扩展性提高资源利用率提高资源利用率隐藏Hide隔离Isolate异构设备标准化异构设备标准化技术点7¡存储虚拟化存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现对象实现层次实现方式存储虚拟化的分类可扩展性业务功能性能影响存储兼容性主机兼容性基于网络基于存储基于主机实施影响主机影响好较好较差很差存储虚拟化的实现层次对比目录信息系统建设挑战及需求主流存储技术对比分析MacroSAN产品技术介绍1、在H3C存储平台（IP存储领航者）：H3C自2004年进入存储领域，迅速成为中国存储行业的领先者。到2009年Q4，H3C自主开发存储产品年销售收入约$50M，超越HDS、Netapp、SUN等存储业界老牌厂商，销售份额排名中国市场第五（前四名分别为：IBM、EMC、HP、DELL）。在iSCSI存储领域，H3C开创了中国IPSAN市场，从2006年Q2H3C推出第一代存储产品后，连续三年在中国IPSAN市场排名第一(市场份额30%以上)。在存储市场最大的中端Midrange市场中，H3C已超越DELL位居第四。截止到2009年12月，H3C在线运行的存储系统总和超过9000台，存储总装机容量超过70,000TB。广