HC1209202第二章大数据存储技术2081

www.huawei.comCopyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HC1209202第二章大数据存储技术Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page2目标学完本课程后，您将能够:描述大数据存储架构理解大数据存储技术了解大数据分析技术了解数据安全技术理解集群NAS技术理解文件系统分级存储理解文件系统快照、镜像、复制Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page3目录1.大数据存储架构2.大数据存储技术3.大数据分析技术4.数据安全技术5.NAS基础技术6.集群NAS技术7.集群NAS卷管理技术Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page4大数据存储架构Scale-outFilesystem数据生命周期管理/跨域调度管理Scale-outDB传统存储业务海量数据业务主存储域NOFSServers:GeneralX86openarchitectureNOFSNOFSNOFSNOFSNOFSNOFSNOFS10GEiWARP/InfinibandXDBCSQLMap-ReduceInterfacePOSIXJOB备份域HDFSHDFSlarge-capacitynodehigh-OPSnodeHDFShigh-bandwidthnode业务层接口层存储层NFS/CIFSS3ISCSIBIBigdataanalyticsBackupBigdatashareNASCopyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page5应用层HPC客户端客户端在线系统近线系统FC/10GE/InfinibandFC/10GE/Infiniband………………Scale-outNASScale-outDBScale-outBackup磁盘上下电扫描文件数据保护策略单盘下电节能数据定期巡检文件生命周期策略DistributedFSScale-out架构Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page6目录1.大数据存储架构2.大数据存储技术3.大数据分析技术4.数据安全技术5.NAS基础技术6.集群NAS技术7.集群NAS卷管理技术Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page7传统存储与对象存储Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page8大数据存储技术—分布式对象资源池Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page9大数据存储技术--Erasurecode①数据写入时被切割成M个数据块②经过纠错编码生成N个冗余校验块,共M+N份数据③系统将多个数据块并行的存储于不同的节点中④当存储节点损坏时，数据读写正常，剩余数据块及冗余块后台参与并将数据恢复m2m4m1m3m3m2n2n1m4m1n2m4Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page10对象存储数据写流程Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page11对象存储数据读取流程Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page12数据块损坏时的数据读取和恢复Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page13元数据冗余DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…元数据拷贝元数据拷贝元数据拷贝元数据拷贝元数据拷贝文件元数据节点1节点2节点3节点4节点5Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page14EC快速数据恢复系统中每个硬盘都属于多个NLUN硬盘故障时,会选出4个目标盘出来进行恢复每个目标盘的恢复是独立的，目标盘之间的恢复可以并发节点1节点2节点3节点4节点5节点6硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page15单一文件系统&统一文件系统命名空间应用服务器WushanFSCopyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page16热数据冷数据普通数据Tier2Tier3Tier1SSD分级存储技术分级存储满足用户既需要高性能访问也需要大容量存储的双重需求。允许用户自行规划自己的业务，对自己的业务进行分级，把某些重要的业务放在性能较高的节点上。Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page18智能负载均衡在所有节点间自动进行负载均衡自动平衡容量和性能IP的故障切换(failover)和故障恢复(failback)无需人工干预，无需更改配置对应用透明nodenodenodenodeOceanStor9000WiseLinkWiseLinkWiseLinkWiseLinkWushanFS192.168.0.20192.168.0.21192.168.0.22192.168.0.23192.168.0.24Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page19智能负载均衡负载均衡实现过程：1.访问系统一级/二级域名,如：fx.tx.com2.OceanStor9000对域名进行解析，根据负载策略，返回IP地址3.业务请求nodenodenodenodenodenodeZone1：基于CPU使用情况二级域名：fx.tx.comZone2：基于网络连接数二级域名：td.tx.comWushanFS①②③NFSClientCopyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page21高效全局缓存（一）storageCPUMemorystorageCPUMemorystorageCPUMemory全局缓存ABC应用服务器nodeAnodeBnodeCWushanFSCopyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page22高效全局缓存（二）利用分布式锁，实现全局缓存同一数据块在缓存只缓存一份任意节点缓存中的数据都能被其他节点访问时命中NodeANodeBNodeCstorageCPUMemorystorageCPUMemorystorageCPUMemory应用服务器WushanFS服务器向NodeC申请锁③LOCK②返回锁在NodeA已经申请①从NodeA缓存中读取数据Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page23按需扩展节点线性扩展60秒之内完成单节点扩容无需人为干预，无需任何改动应用服务器Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page24InfiniBand技术InfiniBandInfiniBand技术不是用于一般网络连接的，它的主要设计目的针对服务器端的连接问题。InfiniBand技术被应用于服务器与服务器（比如复制、分布式工作等）、服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN、WANs和theInternet）的通信。InfiniBand的用途针对服务器端的连接，提供高速、低时延、RDMA方式的访问InfiniBand的特点高带宽低时延系统扩展性好Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page25InfiniBand体系架构InfiniBand标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器。Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page26InfiniBand的帧结构InfiniBand的帧结构Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page27InfiniBand的特点高速度Infiniband第一代DDR技术，所支持的吞吐量为5、20或60Gbps，延迟低于1.3us。第二代QDR技术，带宽最高可达120Gbps，延迟低于100ns远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page28InfiniBand的协议栈Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page2910GE以太网定义10GE以太网（10GigabitEthernet，缩写为10GE，10GbE，10GigE或10GE），即万兆以太网。一种以太网的传输标准，2002年通过，成为IEEEStd802.3ae-2002。它规范了以10Gbit/s的速度来传输的以太网，它的速度是GE的十倍。特点：10Gigabit以太网，以全双工方式连接到网络交换器，它不支持半双工模式与CSMA/CD。10GE提供了高带宽低时延的访问，适合比较媒资类、高算类、OLAP等。Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page30目录1.大数据存储架构2.大数据存储技术3.大数据分析技术4.数据安全技术5.NAS基础技术6.集群NAS技术7.集群NAS卷管理技术Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page31数据库技术的演变随着数据量的飞速增长，特别是非结构化数据，传统关系型数据库的可扩展性出现瓶颈，因此出现各种场景优化的数据存放方式OldSQL（事务）NewSQL/MoreSQL（分析）NoSQL（互联网）Copyright©2013HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page32NoSQL与NewSQLCopyright©2013HuaweiTechnologiesCo.,Ltd.Allrigh