DDN高性能存储WOS云存储解决方案

ddn.com©2012DataDirectNetworks.AllRightsReserved.李若甫[e-mail]®云存储系统超大规模、面向对象、地理分布2014年6月18日18501254012ddn.com©2012DataDirectNetworks.AllRightsReserved.Agenda►公司简介►传统方案的困境►WOS®定位与典型应用场景►WOS®技术细节►Q&Addn.com©2012DataDirectNetworks.AllRightsReserved.DDN公司简介ddn.com©2012DataDirectNetworks.AllRightsReserved.规模实力外部存储的品牌厂商–按收入排名•DDN是世界上最大的私人持有的存储厂商•DDN是全球第四大存储厂商Source:行业认证World’sLargestPrivately-HeldStorageCo.Fast500TechnologyCompanyInc.500|5000High-GrowthCompanyBestHPCStoragePlatformsBestPracticeforDigitalMediaHotTechnologyfor2012关键统计数据•公司定位：提供高度可扩展和高效的存储解决方案，帮助客户快速成功、随数据集的持续增长轻易扩展、解决性能和容量扩展问题从而获得竞争优势。•1998年成立，总部位于Chatsworth,CaliforniaUSA；全球约700名雇员，覆盖4大洲15个国家；•拥有超1000家客户，分布在50个国家，已交货容量超过1EB(1ExaByte=1000PetaByte=106TeraByte)•市场营销策略:全球合作伙伴,增值分销商,分销商•重点关注高性能计算与生命科学、云&网页内容、富媒体、情报及监控等细分市场•在大数据系统上的投资超过1亿美元DDN|全球大数据解决方案领导者ddn.com©2012DataDirectNetworks.AllRightsReserved.大数据产品家族EXAScaler™10KsofClients1TB/s+,HSMLinux/WindowsClientsNFS&CIFSWOS®256BillionObjectsGeoReplicated8MillionObjects/SecondSelf-HealingMobileCloudAccessDirectMon大数据平台管理方案SFA12K40GB/s/1.7MIOPS1,680Drives:16U-2RacksEmbeddedComputingSFA770010GB/s,600KIOPS60Drivesin4U;396Drivesin20UStorageFusionArchitecture™CoreStoragePlatformsFlexibleDriveConfigurationSFXAutomatedFlashCaching•Read•Write•ContextCommit•InstantCommithScaler™50-2000Nodes200+DataSourcesHighSpeedETLUpto500%FasterResults企业级Hadoop一体机PB级Lustre®存储企业级水平扩展文件存储GRIDScaler™1KsofClients1TB/s+,HSMLinux/WindowsClientsNFS&CIFSCloudTieringSASSATASSDCloudFoundationddn.com©2012DataDirectNetworks.AllRightsReserved.高性能计算与生命科学•超算•基因排序•地震资料处理•金融建模•大学和实验室研究DDN|目标市场：大数据媒体•电视广播•后期处理•数字中期•动漫•视频点播政府/数字安全•地理空间情报•视频监控•大规模侦听•坚固耐用(rugged)解决方案云/互联网/服务提供商•网页内容•托管服务提供商•存储服务提供商•个人云存储ddn.com©2012DataDirectNetworks.AllRightsReserved.DDN|1000+家世界领先的客户ddn.com©2012DataDirectNetworks.AllRightsReserved.传统方案的困境ddn.com©2012DataDirectNetworks.AllRightsReserved.NAS的不足►NAS性能低下•NAS设备管理了大量目录元数据•如果在每个目录下存储几千个文件，读一个几KB的文件可能需要10个以上磁盘操作；•即使将每个目录下的文件数量削减为几百个，为获取1个小文件NAS系统仍然需要至少3个磁盘操作：将目录元数据加载到内存并将文件名转换为inodenumber、从磁盘上读取inode、读取文件本身►NAS+NFS/CIFS成本高昂►缓存文件句柄对longtail数据的性能帮助很小ddn.com©2012DataDirectNetworks.AllRightsReserved.传统CDN面临的困境►云备份、iCloud、电信运营商的话单日志、Facebook等SNS网站…上述海量数据中，longtail数据占很大比例►传统CDN使用RAM缓存实现低延迟、高并发，为热点数据提供了高性能；但对longtail数据无能为力SizeofHDDSizeofRAMCDN的价值＝►如何降低海量数据的存储成本，降低访问longtail数据的延迟，提高IO性能？Longtailddn.com©2012DataDirectNetworks.AllRightsReserved.CIO的困境1.BYOD、Cloud、Social、Mobile…BigData！预算有限，分身无术，客户需要一个简化的IT2.数据与应用系统紧密耦合，“牵一发动全身”3.扩容、改造、升级常受制于系统现状及软件开发商•故障点多，•管理复杂，•TCO高，•新增应用困难，扩容升级困难现有应用新增应用票据影像数据存储票据影像数据存储票据影像数据存储数据索引索引索引索引Harddisk：第一次购买时最优RAID/LUN：安装时用PND算法设定Filesystem:对现有应用优化VolumeManager：对现有数据优化DataFlow?安装即过时——ddn.com©2012DataDirectNetworks.AllRightsReserved.WOS®典型应用场景及其生态系统2/7/1212ddn.com©2012DataDirectNetworks.AllRightsReserved.WOS®：颠覆性的海量非结构化数据存储方案•对象被存储在几乎无限大的平面地址空间内；•将数据保存在被称为Object的容器里•每个Object都有data和metadata•没有文件系统的复杂性•1MB以内对象的每次读写只执行1次硬盘IO•对不同大小的文件自动优化IO性能•无中心管理DataMetadataDataMetadataDataMetadata平面命名空间FullFile/Object1MBObjectsSegmentedinto1MBChunksUserMetadata(64MB)Key-valueorbinaryTag=Beach;ThumbnailsReplication/ProtectionPolicyAsync,Sync,ObjectAssureCodingSecuritySignature64bitChecksumObjectID(OID):ACuoBKmWW3Uw1W2TmVYthAddn.com©2012DataDirectNetworks.AllRightsReserved.Zone2Zone1WOS®|读写数据流应用/Web服务器(1)一个文件被上传到应用服务器或者web服务器(2)应用程序调用WOS客户端保存(PUT)一个新对象D.应用程序返回文件给用户(3)WOS客户端在节点中保存该对象；后续的对象在云中被自动负载均衡。LAN/WAN内容数据库(5)WOS客户端返回唯一的标识符OID；应用程序保存该OID而不是传统的文件路径，然后应用程序在内容数据库中注册该OID。B.应用程序调用WOS客户端读取(GET)该对象；OID被传递给WOS客户端.A.某用户需要读取一个文件C.WOS客户端自动判断哪个节点拥有被请求的对象，从延迟最低的数据源读取该对象，并迅速将该文件返回给应用程序(4)系统根据WOS的策略复制数据。本例中，该文件被复制到Zone2。OID=5718a36143521602OID=5718a36143521602ddn.com©2012DataDirectNetworks.AllRightsReserved.WOS®用于数据源&数据加速（CDN）ApplicationServer内容源WOSCacheServer内容源内容源ApplicationServerWOSCacheServerEdgeCacheWOSCacheServer内容上传内容上传AutomaticPolicy-basedSynchronizationApplicationServerEdgeCache城市1城市2城市3内容上传中心管理ddn.com©2012DataDirectNetworks.AllRightsReserved.WOS®用于数据采集与图像处理Store&AnalyzeStore&processmonthsofdatainthefieldIn-CountryLocal•In-Countryanalysis•In-Countryprotection1In-CountryRemote•ReplicatetoremoteIn-countrycontainer•Collaboratebetweensites1境内采集分析•Highperformanceaccessforanalysison-site•Totallyhands-off&selfhealing•Petabytescapacity,smallfootprint•BetterthanRAIDdurability&availabilityAnalyze,Search&ManageStoreanddeeparchiveexabytesofdatainasingleyear3长期高速归档•Automaticallyjoinstoragepool•MassiveScalability•LowTCO•Highreliability,durability,&availability•Automaticmanagement,migration&upgrades2TransportTransfercontainersfromthefieldddn.com©2012DataDirectNetworks.AllRightsReserved.现有应用WOS®用于非结构化数据管理平台►分布式存储、集中管理、就近访问、水平扩展、确保数据安全►精简架构，去掉多余组件，减少了故障点，精准管理►完全横向扩展►话单查询、医疗云…新增应用RESTHarddisk：每次购买时最优RAID/LUNFilesystemVolumeManager专属索引专属索引DataMetadataDataMetadataDataMetadata…平面命名空间网关ddn.com©2012DataDirectNetworks.AllRightsReserved.WOS®用于提供类似Dropbox的云存储服务►某公立大学有40,000名学生要提供经认可的“类似Dropbox”的解决方案►要求一个合法的内部解决方案，发现其他竞争解决方案对自己不利•文件共享服务提供商，搭售了他们的数据中心和人员►DDN的安全WOS®云文件共享解决了上述问题•向学生和教职员提供安全的文件存储和共享•学生毕业后，除一个永久的电子邮件帐号外，还包括该服务LoadBalancerRe