HDFS简介

©free-ppt-templates.comHDFS王洋©free-ppt-templates.com分布式文件系统•什么是分布式？–网络–集群•文件系统的组成？–文件管理软件–被管理的文件内容–组织文件的数据结构©free-ppt-templates.com本地文件系统•HDFS是一个虚拟文件系统•HDFS建立在OS的文件系统的基础上–ext3/ext4/xfs•HDFS是一个Master/Slave架构上的服务–index/data–block–stream式读取，磁带一样（顺序访问）©free-ppt-templates.comHDFS的特点•以block的方式进行组织–默认64MB为一个block对文件进行分割–hadoop2128MB•高容错性（高冗余性）–默认3个副本进行备份•HDFS的目的–为了方便处理海量数据的目的–不是为了存储方便和安全–也不是为了高效的相应反馈©free-ppt-templates.comHDFS结构•Master/Slave的结构–MasterNode•NameNode•SecondaryNameNode–SlaveNode•DataNode©free-ppt-templates.comNameNode•HDFS的所有文件的索引都在这个节点上，搜索HDFS上面所有的数据都是从NameNode上面找到的。•SecondaryName不是NameNode的备份，它是将Name和Editlog进行整理和合并的进程。©free-ppt-templates.comDataNode•实际文件数据存储的Node–文件被分割成若干block，每个block被存放在不同的datanode上面。–这个关于文件的block和不同datanode的信息数据被称之为元数据，保存在namenode中。–hdfs上面的文件不断的增加和删除操作信息，保存在editlog里面，在secondarynamenode中进行合并，有namenode对外提供索引服务。©free-ppt-templates.comDataNode•为后面的map和reduce的job提供处理的数据和启动的节点信息。©free-ppt-templates.com总结•HDFS是为了处理海量数据而产生的文件系统。•HDFS是一个（主/从）结构的虚拟文件系统。