开源力量公开课第24期-为何Hadoop是分布式大数据处理 的未来&如何掌握Hadoop

为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop?By王家林微博：开源力量公开课|让我们一起向最牛的IT技术专家们学习！实验环境VMWare：提供虚拟集群环境UBuntu：Hadoop运行的操作系统SSH:用来远程连接linux服务器，linux下可以直接使用ssh命令Hadoop-1.1.2开源力量公开课|让我们一起向最牛的IT技术专家们学习！思想来源：Google1，Google搜索引擎，Gmail，安卓，AppspotGoogleMaps，Googleearth，Google学术，Google翻译，Google+等；2，Google的Android；3，Google已经无所不在；开源力量公开课|让我们一起向最牛的IT技术专家们学习！的低成本之道不使用超级计算机，不使用存储（淘宝的去i，去e，去o之路）大量使用普通的pc服务器（去掉机箱，外设，硬盘），提供有冗余的集群服务全世界多个数据中心，有些附带发电厂运营商向Google倒付费开源力量公开课|让我们一起向最牛的IT技术专家们学习！面对的数据和计算难题大量的网页怎么存储？搜索算法Page-Rank计算问题开源力量公开课|让我们一起向最牛的IT技术专家们学习！带给我们的关键技术和思想GFSMap-ReduceBigtable开源力量公开课|让我们一起向最牛的IT技术专家们学习！的源起——LuceneDougCutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎早期发布在个人网站和SourceForge，2001年年底成为apache软件基金会jakarta的一个子项目Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎对于大数量的场景，Lucene面对与Google同样的困难。迫使DougCutting学习和模仿Google解决这些问题的办法一个微缩版：Nutch开源力量公开课|让我们一起向最牛的IT技术专家们学习！，从nutch到hadoop2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现了DFS和Mapreduce机制，使Nutch性能飙升Yahoo招安DougCutting及其项目Hadoop于2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份，Map-Reduce和NutchDistributedFileSystem(NDFS)分别被纳入称为Hadoop的项目中名字来源于DougCutting儿子的玩具大象开源力量公开课|让我们一起向最牛的IT技术专家们学习！的历史始于2002年的apache项目Nutch2003年Google发表了关于GFS的论文2004年Nutch的开发者开发了NDFS2004年Google发表了关于MapReduce的论文2005年MapR被引入了NDFS2006年改名为Hadoop，NDFS的创始人加入Yahoo，Yahoo成立了一个专门的小组发展Hadoop开源力量公开课|让我们一起向最牛的IT技术专家们学习！达到的高度实现云计算的事实标准开源软件包含数十个具有强大生命力的子项目已经能在数千节点上运行，处理数据量和排序时间不断打破世界纪录开源力量公开课|让我们一起向最牛的IT技术专家们学习！保持并不断刷新的记录存储：世界上最大的Hadoop集群使用者是Facebook，可存储30PB的数据；计算：在2分钟内完成1T数据的排序，参考：开源力量公开课|让我们一起向最牛的IT技术专家们学习！能解决哪些问题海量数据需要及时分析和处理。海量数据需要深入分析和挖掘。数据需要长期保存问题：磁盘IO成为一种瓶颈,而非CPU资源。网络带宽是一种稀缺资源硬件故障成为影响稳定的一大因素开源力量公开课|让我们一起向最牛的IT技术专家们学习！HDFS的守护程序纪录文件是如何分割成数据块的，以及这些数据块被存储到哪些节点上对内存和I/O进行集中管理是个单点，发生故障将使集群崩溃开源力量公开课|让我们一起向最牛的IT技术专家们学习！监控HDFS状态的辅助后台程序每个集群都有一个与NameNode进行通讯，定期保存HDFS元数据快照当NameNode故障可以作为备用NameNode使用开源力量公开课|让我们一起向最牛的IT技术专家们学习！架构图开源力量公开课|让我们一起向最牛的IT技术专家们学习！每台从服务器都运行一个负责把HDFS数据块读写到本地文件系统开源力量公开课|让我们一起向最牛的IT技术专家们学习！用于处理作业（用户提交代码）的后台程序决定有哪些文件参与处理，然后切割task并分配节点监控task，重启失败的task（于不同的节点）每个集群只有唯一一个JobTracker，位于Master节点开源力量公开课|让我们一起向最牛的IT技术专家们学习！位于slave节点上，与datanode结合（代码与数据一起的原则）管理各自节点上的task（由jobtracker分配）每个节点只有一个tasktracker，但一个tasktracker可以启动多个JVM，用于并行执行map或reduce任务与jobtracker交互开源力量公开课|让我们一起向最牛的IT技术专家们学习！Master：Namenode、SecondaryNamenode、Jobtracker。浏览器（用于观看管理界面），其它Hadoop工具Slave：Tasktracker、DatanodeMaster不是唯一的开源力量公开课|让我们一起向最牛的IT技术专家们学习！数据分析者面临的问题数据日趋庞大，无论是入库和查询，都出现性能瓶颈用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高使用的模型越来越复杂，计算量指数级上升开源力量公开课|让我们一起向最牛的IT技术专家们学习！数据分析者期待的解决方案完美解决性能瓶颈，在可见未来不容易出现新瓶颈过去所拥有的技能可以平稳过渡。比如SQL、R转移平台的成本有多高？平台软硬件成本，再开发成本，技能再培养成本，维护成本开源力量公开课|让我们一起向最牛的IT技术专家们学习！权威指南开源力量公开课|让我们一起向最牛的IT技术专家们学习！个问题海量数据的存储--HDFS海量数据的分析--MapReduce开源力量公开课|让我们一起向最牛的IT技术专家们学习！是什么?Hadoop=TheHadoopprojectsCommon,Avro,MapReduce,HDFS,Pig,Hive,Hbase,ZooKeeper,Sqoop,Oozie开源力量公开课|让我们一起向最牛的IT技术专家们学习！，Verylargefiles2，Streamingdataaccesswrite-once,read-many-times3，Commodityhardware开源力量公开课|让我们一起向最牛的IT技术专家们学习！不适合的场景Low-latencydataaccessLotsofsmallfilesMultiplewriters,arbitraryfilemodifications开源力量公开课|让我们一起向最牛的IT技术专家们学习！架构（1）在Hadoop中，一个文件被划分成大小固定的多个文件块，分布的存储在集群中的节点中；a.txt600G开源力量公开课|让我们一起向最牛的IT技术专家们学习！架构（2）同一个文件块在不同的节点中有多个副本111开源力量公开课|让我们一起向最牛的IT技术专家们学习！架构（3）我们需要一个集中的地方保存文件的分块信息/home/hdfs/a.txt.part1,3,(dn1,dn2,dn3)/home/hdfs/a.txt.part2,3,(dn2,dn3,dn4)/home/hdfs/a.txt.part3,3,(dn6,dn11,dn28)…开源力量公开课|让我们一起向最牛的IT技术专家们学习！架构（4）开源力量公开课|让我们一起向最牛的IT技术专家们学习！架构（5）Block：一个文件分块，默认64MNameNode：保存整个文件系统的目录信息，文件信息以及文件相应的分块信息。DataNode：用于存储BlocksHDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。如果NameNode中的数据丢失，整个文件系统也就丢失了。2.x开始，HDFS支持NameNode的active-standy模式开源力量公开课|让我们一起向最牛的IT技术专家们学习！原理(1)问题：求出以下数组当中最大的数1，3，23，3，4，18，2，8，10，16，7，5intMax(inta[],n){intm=0;for(inti=0;in;i++)if(ma[i])m=a[i];returnm;}开源力量公开课|让我们一起向最牛的IT技术专家们学习！原理(2)MapReduce是一种编程模型，用于大规模数据集的并行计算。1，3，233，4，182，8，1016，7，52318101623ReduceMapMapMapMap开源力量公开课|让我们一起向最牛的IT技术专家们学习！MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算通