NetAppDataOntap核心基础技术技术工程师培训

1NetAppConfidential-InternalUseOnlyDataOntap核心技术©2008NetApp.Allrightsreserved.DataOntapNetApp统一存储架构©2008NetApp.Allrightsreserved.ApplicationOSSecurityVolumeMgmt(RAID)NTFS/UFSDiskDrivers通用操作系统核心技术：专用操作系统DataOntap70万行代码，代码精炼功能不多，但是专注于数据存储，因为专所以高效对病毒免疫专用操作系统DataOntap5000万行代码，代码庞杂功能繁多，但是大部分和数据存储无关，从而影响数据存储性能开放系统，容易受病毒攻击WAFL©2008NetApp.Allrightsreserved.2019/9/15NetAppConfidential--DoNotDistribute4专用操作系统和文件系统---WAFL©2008NetApp.Allrightsreserved.高效支持所有协议NetApp®LUNs是在Flexvol之内建立的具备磁盘块属性的数据对象tedwithinFlexVol®volumes.NetApp在SAN环境和NAS环境提供同样的存储效率通过NetApp的统一架构,单一系统可以提供SAN和NAS功能，并且易于再配置和改变应对业务挑战DiskDriveDataONTAP®LogicalViewRAIDGroupAggregateFlexVolLUNSATARAID-DPThinProvisioningThinReplicationSnapshotCopiesVirtualCopiesDeduplicationAbstractionLayerEfficiencyFeature©2008NetApp.Allrightsreserved.存储单元划分Aggr0Aggr1vol0vol1vol2vol3物理磁盘Aggregate(RAID组集合)FlexvolLUN物理层面逻辑层面©2008NetApp.Allrightsreserved.存储单元名称与定义Aggregate–每个控制器必须有独立的Aggregate–可以包含一个或多个RAID组Volume–NAS存储单元–虚拟化逻辑单元，可以动态缩放（20MB－16TB）–WAFL文件系统结构LUN–SAN/IPsan存储单元–虚拟化，可以动态缩放–数据格式由主机定义©2008NetApp.Allrightsreserved.DataOntapNetApp统一存储架构NetAppRaid技术详解©2008NetApp.Allrightsreserved.1137222149为什么其他厂商不提供RAID4支持，RAID4本身存在什么不足?Netapp如何解决RAID4本身的不足?3912213321112258812333+1+2+3=99-3-1-3=211512DDDDP不管是RAID4还是RAID5，都是基于单校验技术的RAID方法，只能防止因一块硬盘故障导致数据失效Netapp采用的RAID技术之一：RAID4RAID4有一块专用的校验盘3521211813213713213891222DDDDDRAID5没有专用的校验盘，所有的校验信息分散存储在所有硬盘上用户数据校验数据图例此块数据要从3修改为55+++=1122149修改为2修改为2修改为1修改为4©2008NetApp.Allrightsreserved.RAID4：RAID组内添加硬盘不需要进行重构9587P0000D3121113122133122DDDDRAID4有一块专用的校验盘只要新添加的硬盘所有位都格式化为0，把硬盘添加到RAID4中就不会改变各个条带的校验值，因此整个RAID组不需要重构©2008NetApp.Allrightsreserved.RAID5：RAID组内添加硬盘需要进行重构35212118132137132138DDDD91222DRAID5没有专用的校验盘，所有的校验信息分散存储在所有硬盘上00000D50827118为了保持RAID5分散存放校验信息的特点，新硬盘添加到RAID组后，整个RAID组需要进行长时间的重构，在这段时间内数据没有RAID保护，且会严重影响性能©2008NetApp.Allrightsreserved.D单校验RAID技术的RAID组重构问题9587P3121113122133122DDDDRAID4有一块专用的校验盘9–3–1–3=25–1–1–1=28–2–3–2=17–1–1–2=3RAID组的重构，会给用户带来如下的影响：需要较长的时间完成，且硬盘越大，所需的时间越长会严重消耗阵列的资源，特别是该RAID组内的硬盘读写资源，因此会严重影响性能在重构期内，整个RAID组没有保护，如果再有一块硬盘失效会导致用户数据的丢失©2008NetApp.Allrightsreserved.312111312213312295877121211DDDDPDP•一个Raid组内可以同时坏两块硬盘•数据可靠性比RAID-4或RAID-5提高了4000倍Netapp采用的RAID技术之二：RAIDDP用户数据水平交验数据对角交验数据图例©2008NetApp.Allrightsreserved.同样的情况在RAID-6状态下140%5%10%15%20%Upto5%Upto2.6%Upto17.9%FCATAFCATAFCATA17.9%1.7%2.6%.2%5%3%ATALessthan1inabillion*介质或磁道损坏+第二块磁盘损坏的可能性–双校验(在16块盘的RAIDDP磁盘组重构期间)ProtectedwithRAID-DP.0000000001%*标准的磁盘更换率(每年)*磁盘驱动器介质或磁道损坏几率(300GBFC/320GBSATA)*磁盘驱动器介质或磁道再有一块盘损坏的几率(在RAID4/5，8块磁盘的磁盘组重构的过程中)行业统计:磁盘驱动器的更换率和磁盘介质损坏的几率随着磁盘容量的增大在不断的增加*资料来源:NetworkAppliance©2008NetApp.Allrightsreserved.DataOntapNetApp统一存储架构NetAppRaid技术详解底层空间管理技术和性能优化©2008NetApp.Allrightsreserved.C底层存储空间管理技术根ABD用户数据此数据需要修改，从C修改为C’空闲空间池©2008NetApp.Allrightsreserved.CC`其它厂商底层存储空间管理技术在用户数据修改时所采用的技术根ABD用户数据空闲空间池在原来位置上直接利用新数据覆盖老数据©2008NetApp.Allrightsreserved.Netapp先进的底层存储空间管理技术：WAFL在用户数据修改时所采用的技术根ABD用户数据空闲空间池C`C1.从空闲空间池分配一个新的数据块2.把修改以后的数据写入到新分配的数据块中3.修改指针，从指向老数据块修改为指向新数据块4.老数据块数据不做任何修改，直接返回空闲空间池©2008NetApp.Allrightsreserved.WAFL：所带来的优越性能硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘校验盘NetappWAFL的做法硬盘硬盘硬盘硬盘硬盘硬盘其它厂商的做法（采用RAID5）读读读校验数据写入用户数据写入读硬盘硬盘硬盘硬盘硬盘校验盘其它厂商的做法（采用RAID4）读读读读用户数据写入校验数据写入需要修改的数据修改以后的数据需要读取的数据校验数据图例刚才遗留的和RAID相关的两个问题为什么其他厂商不提供RAID4支持，RAID4本身存在什么不足?Netapp如何解决RAID4本身的不足?会涉及到刚才介绍的单校验的RAID技术（RAID4或RAID5）如何进行数据修改的技术©2008NetApp.Allrightsreserved.其他厂商：RAID组的大小和性能成反比硬盘硬盘硬盘硬盘硬盘硬盘硬盘6D+1P的RAID5组：每个数据块的修改都要涉及到其它五块硬盘相同位置的数据块的读取，然后进行校验计算硬盘硬盘硬盘硬盘3D+1P的RAID5组：每个数据块的修改只要涉及到其它两块硬盘相同位置的数据块的读取，然后进行校验计算需要修改的数据修改以后的数据需要读取的数据校验数据图例RAID组越小，性能越好，因此其他厂商一般都建议用来存放生产数据的RAID5的硬盘组采用3D+1P或4D+1P大小©2008NetApp.Allrightsreserved.Netapp：RAID组的大小和性能成正比硬盘硬盘硬盘硬盘硬盘硬盘硬盘6D+1P的RAID4组：每6个数据块的修改只要进行一次校验计算，只会产生一个校验块硬盘硬盘硬盘硬盘3D+1P的RAID4组：每3个数据块的修改就要进行一次校验计算，产生一个校验块，这样6个数据快的修改就要进行两次校验计算，产生两个校验块需要修改的数据修改以后的数据需要读取的数据校验数据图例RAID组越大，性能越好，因此Netapp一般建议用户的RAID4硬盘组至少采用6D+1P的大小©2008NetApp.Allrightsreserved.22DataDataDataDataParityParityDataWAFL–无需预先分配空间(元数据和数据同样对待），写条带条带到最近的可用块.条带化到最近的可用块减少磁盘寻道，达到最好的磁盘性能，避免热点攀的产生!WAFL将随机写转换成大的顺序写!WAFL文件系统和DataONTAPOS结合高性能RAID-6(RAID-DP)DDDDPPDDDDPPDDDDPPDDDDPP4Kblocks,paritycalculatedinmemoryIncomingWritesNVRAM传统的文件系统（NTFS,UFS,FAT32等）,将数据写到预先分配好的位置，导致“热点校验”磁盘DataDRAM©2008NetApp.Allrightsreserved.DataOntapNetApp统一存储架构NetAppRaid技术详解底层空间管理技术和性能优化NetApp快照恢复和克隆©2008NetApp.Allrightsreserved.快照数据生产数据有数据快照的情况没有数据快照的情况Netapp数据快照技术：SnapshotABCD空闲空间池生产数据ABC空闲空间池D`D`D用户最关心的和数据快照相关的两个问题：数据快照对性能的影响程度数据快照所需消耗的存储空间©2008NetApp.Allrightsreserved.快照数据生产数据有数据快照的情况没有数据快照的情况其它厂商的数据快照技术ABCD用户数据生产数据ABC用户数据数据快照专用存储空间DD`DD`©2008NetApp.Allrightsreserved.不同的数据快照实现的性能差别CX500performancewiththeirsnapshotsgoesto40%VeriTest:NetworkApplianceFAS3020andEMCCX500:ComparisonofUsabilityandPerformanceSnapshotvs.Non-snapshotPerformance0%20%40%60%80%100%120%013026039052065078091010401170130014301560169018201950208022102340247026002730286029903120325033803510ElapsedTimeinSecondsCX500R&WFAS3020R&W©2008NetApp.Allrightsreserved.Netapp数据快照的优势不管拍多少份快照，对系统性能没有任何影响不需要给快照提前分配存储空间，这样就不会造成如下两种情况–给快照空间分配过大，造成空间浪费–给快照空间分配过小，导致快照失效可以对一份数据最多进行255份