26、并行发展的大数据基础架构_尹玉峰_戴尔解决方案资深经理28

并行发展的大数据基础架构尹玉峰戴尔解决方案资深经理•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions每五年增长来自新的数据类型成人拥有的平均数字设备使用社交媒体10X85%4.3至2015,使用现代信息管理手段的组织，在财务表现上超越同行20%“InformationManagementinthe21stCentury“27%改变中的数据世界•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions数据以更快的速度产生与消费$600billion每年因为低质量数据导致的浪费70%的数据来自消费者。但是企业负责存储并管理器中的80%1.8Zettabytesofbusinessdatainusein2011$232billiondollars到2016，预算在大数据的投入34.4million大数据创建IT职位只能提供1/337.5%大型机构承认大数据分析是他们最大的挑战247billionEmails/Day80%垃圾邮件48hours每分钟上传到Youtube的视频200million每天上传到Facebook图片数•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions大数据捕获管理分析导致数据太大或太复杂，传统数据管理工具难以管理4VolumeAlargeamountofdata,growingatrapidrates信息增长………………………VelocityDatathatmustbeprocessedathighspeedtofacilitaterapiddecisionsVarietyWiderangeofdatatypesandstructure•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions有这样的基础架构大数据中的基础架构•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions大数据中的基础架构还有这样的基础架构•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions大数据中的基础架构也有这样的基础架构•Dell-Restricted-Confidential还有一个很重要的SAPGrowfrom2TBto16TB-withoutdisruption–in1TBincrementsScalableHighlyAvailable2TBHA16TBHA2TBBusinessSuite4xIntelE7v2128GB/256GB/512GB2xIntelE7v21TB4xIntelE7v2R9204xIntelE7v2200UsersR620Intelx267032-128UsersT620Intelx267032-128Users3TBBusinessSuite4xIntelE7v2SAP完整认证的HANA方案•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions客户面临的难题：应用程序的性能受到限制•CPU能够达到将近1000万IOPS，而最出色的15KSAS驱动器也只能达到540IOPS左右。•采用内存来克服存储I/O瓶颈的做法成本高昂。•当事务处理速度十分缓慢时，原因往往是存储层出现磁盘争用，从而增加I/O延迟，迚而减慢事务处理速度。传统驱动器的问题CPU、内存和网络性能不断提升，同时存储容量也出现了增长……但应用的速度并未跟上步伐。•Dell-Restricted-Confidential闪存领域创新高密度1.8英寸固态硬盘和2.5英寸NVMePCIe固态硬盘•采用针对固态硬盘迚行了优化的服务器配置，从而可加快数据库性能–OLTP工作负载–联机分析–CRM•提供无可匹敌的性能——高IOPS、超低延迟•是DellFluidCacheforSAN和新的SanDiskDASCache的组成部分•可从正面检修、支持热插拔，从而简化了管理性能优异、经久耐用、敏捷灵活•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutionsPowerEdge解决方案：加快应用程序性能闪存存储和缓存选项1.8英寸SAS和SATA固态硬盘，以及热插拔的PowerEdgeExpressFlashNVMePCIe固态硬盘。DellFluidCacheforSAN•为数据库和虚拟化工作负载提供非凡的应用程序响应速度。•可通过添加DellPowerEdgeExpressFlashNVMePCIe固态硬盘或服务器节点来动态地扩展性能——甚至是在实时缓存池内也是如此。•利用回写式高速缓存技术以及与Compellent后端存储的完全一致性来确保数据完整性。专用的缓存网络（10或40GbE）存储网络（FC或iSCSI）PCIe固态硬盘缓存池DellCompellentSanDiskDASCache•这是戴尔推出的服务器级DAS（直连存储）I/O应用程序加速解决方案，旨在与新一代PowerEdge服务器搭配使用•可使OLTP、OLAP和业务分析等工作负载发挥出超凡性能。•既支持Linux操作系统，也支持Windows操作系统•用途广泛，支持使用各种各样的设备作为缓存：SATA、SAS和PCIe固态硬盘；PowerEdgeExpressFlashNVMePCIe固态硬盘；以及基于PCIe的扩展卡，例如FusionIO。•旋转式存储设备位于服务器内部，同时采用精选的DellPowerVault存储设备作为外部存储。DellFluidCacheforSAN：扩展缓存介质，以便将SAS和SATA固态硬盘也纳入为新一代服务器的缓存！•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions容量方面的增强容量更大、速度更快、安全性更高•容量更大–容量优化型3.5英寸驱动器将从6TB升级为8TB–容量优化型2.5英寸驱动器的容量将达到2TB–性能优化型驱动器的容量将达到1.8TB总体系统存储优化扩展至组件级别•Dell-Restricted-Confidential提供与15KSSD接近的入门价格，但是100X性能提升相同可靠性vs15krpmSASHDD2百万小时无故障时间50%省电vs15kRPMSASHDDSSD6WvsHDD9W超快速的RaidRebuild时间，提高uptime时间SSDvsHDD2.5”1.8”可靠性对比性能对比SATASSD450MB/s2.515KSAS183MB/sEntryPricePointReplacement能耗效率2.5”15KSAS9WattsSATASSD6Watts2.5”15KSAS2MMTBFSATASSD2MMTBF2.515KSAS0.3KIOPsSATASSD30KIOPs60GBSATASSD120GBSATASSD250GBSATAHDD300GB15KSAS2.5”7.2KSATA1.2MMTBF•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions满足需要提高数据I/O能力的应用程序的需求•对85%至90%的OracleRAC环境而言，R630都是理想选择•由于消除了数据I/O瓶颈，因此服务器的利用率更高。•可以采用后端存储来提供容量而非性能。•实现了机架密度的翻倍，同时在1U密度既定的情况下还降低了功耗、冷却和空间成本。PowerEdgeR630机架式服务器配备24个1.8英寸固态硬盘的R630可使本地存储的性能提升240%，同时使成本保持大致不变•Dell-Restricted-Confidential@Dell_EnterpriseEnterpriseSolutions集闪存、高速缓存和高容量存储于一体R730xd完美搭配了所有这三个方面，同时仅占2U空间•Hadoop针对I/O密集型Map-Reduce应用程序使用闪存和大容量存储。闪存设备的性能超过传统磁盘3倍配备18个1.8英寸固态硬盘和8个3.5英寸普通硬盘的PowerEdgeR730xd机架式服务器用户需要兼具闪存性能与庞大本地存储容量的存储解决方案，以便为大数据(Hadoop)、MicrosoftSQL数据库和数据集市等工作负载提供强劲动力。以一敌二•原先需要两台机器，一个做密集读写，一个存储大容量数据•现在可以通过一台混合18*1.8”SSD+8*3.5”HDD的R730xd实现•Dell-Restricted-Confidential16机密信息•使用方便的标准U盘即可将新配置安装到您的戴尔第13代服务器上•只需不到1秒时间即可将BIOS、iDRAC、PERC和网卡的配置上传到iDRAC如果您就在系统旁，可以使用U盘轻松完成服务器设置，而无需使用线缆和笔记本电脑通过U盘使用IDRACDirect使用iDRACDirect轻松完成配置XML配置文件•Dell-Restricted-Confidential17机密信息无需专用的软件或驱动程序！从此告别应急方案！可以在现场直接、方便地建立连接来执行高级管理任务。通过USB线缆和笔记本电脑使用iDRACDirect通过本地笔记本电脑连接到iDRACGUI•可通过USB线缆连接到笔记本电脑来访问iDRACGUI•可以直接与iDRACGUI迚行交互来迚行高级服务器管理和维护（即使尚未配置iDRAC联网设备，也是如此）•可以检查详细的日志文件以便加快服务器修补速度•正面的USB端口插拔起来十分方便•强大的iDRAC凭据以确保安全访问•Dell-Restricted-Confidential18机密信息•只需清扫您的手机即可快速获取关键的服务器信息和错误日志•还可以在几秒钟的时间内配置好关键设置•此功能随R630、R730和R730XD服务器提供•此功能会用到OpenManageMobile应用程序，并且可以选择使用支持NFC的挡板借助iDRAC快速同步，使用您的移动智能设备即可获取和设置关键的服务器信息iDRAC快速同步使用您的智能设备通过NFC连接到iDRAC业界首款提供集成式近场通信(NFC)支持的服务器！•Dell-Restricted-Confidential19机密信息•借助新的BIOS设置，您可以快速选择一种经过预先测试、可使特定工作负载性能达到最优的服务器配置•初期提供可使HPC和高频交易(HFT)工作负载发挥最佳性能的配置文件（以后将提供更多配置文件）•与标准服务器配置相比，可使性能提升XX%快速轻松地为您的工作负载获取正确的设置经过优化的工作负载配置文件采用经过预先测试的BIOS设置，实现优化的性能节省为实现最优性能而查找最佳设置所耗费的时间和工作量！•Dell-Restricted-Confidential20机密信息•显著缩短诸如固件更新、操作系统修补或断电重启等事件造成的停机时间•操作系统修补和固件更新通常需要重启服务器；缩短启动用时可以加快这些过程的速度•可以更快地启动生命周期控制器GUI最大限度减少服务器停机时间并加快动态配置速度加快服务器的启动速度启动速度加快60%•Dell-Restricted-Confidential21设想一下，如果有一种IT方法...可以使得构建某种工作负载解决方案变得像儿童搭积木一样简单……如果您可以像搭小块积木那样循序渐迚地配置IT资源，将会如何？I/O块存储块管理块计算块•Dell-Restricted-Confidential22试想，如果您能做到以下几点，那会如何......让