hadoop视频教程-Hadoop开发环境搭建02.CDH4.1介绍与环境搭建

CDH4.1实战系列讲师：Cloudy（北风网版权所有)2、CDH4.1介绍与环境搭建技术基础Linux中等Java最好有些基础，一般水平关系数据库sqlHadoop介绍核心组件：HDFS：分布式存储系统Mapreduce：分布式计算模块分布式：廉价小型机通常一台几千元8G内存5T磁盘Namenodemaster集群主机器负责集群的统一管理和调度，作业分发和收集JobTracker作业分发和收集Datanodeslave机，主要接收namenode任务进行运算处理，输出结果给namenodeTaskTracker作业接收和输出本地服务器几百万一台10TCloudera介绍Cloudera公司主是一家提供Hadoop以及基于Hadoop软件的服务商.Cloudera针对Hadoop的官方版本做了很多集成以及补丁修复工作.并且一个发布下的所有基于Hadoop的软件之间的版本依赖已经经过了大量测试,可以说是一个比较省心的版本.同时简化了对其他组件的整合安装。是目前企业里用的最多的发行版本。而且Cloudera针对不同的Linux发行版进行了打包工作,比如:Ubuntu,Debian,Redhat,Fedora,SUSE等CDH4介绍ClouderaHadoop4的简称，是在CDH3基础上升级而来，相比CDH3有很大的性能提高，同时修复了CDH3的很多细节问题。无论稳定性还是性能，都是之前版本无法相比的。目前最主流的企业级应用版本。OS硬件要求OS硬件要求关系数据库要求JDK版本CDH4要求JDK1.6.推荐版本是1.6.0_31.最小版本是1.6.0_8.我们采用版本jdk-6u31-linux-amd64.rpmCDH4安装步骤下载地址：修改/etc/hostsroot用户，或普通用户无密码sudo权限建本地下载repository手工下载软件包，按照顺序安装安装方式有2种：方式1、全自动安装，先下载后安装弊端是所需下载软件包又大又多，下载过程耗时，任何时候报错都全部回滚，所以该方式不可取。CDH4安装步骤方式2：手工下载和安装所需软件包。该方式出现报错不会回滚之前的安装。需要：建本地repo文件。Yarn是Mapreduce2.0软件包安装顺序用—nogpgcheck忽略yum安装所依赖的包：sudoyuminstall./cloudera-manager-agent-4.1.0-1.cm410.p0.361.x86_64.rpm--nogpgchecksudoyuminstall./cloudera-manager-daemons-4.1.0-1.cm410.p0.361.x86_64.rpm--nogpgchecksudoyuminstall./jdk-6u31-linux-amd64.rpm--nogpgchecksudoyuminstall./bigtop-tomcat-0.4+359-1.cdh4.1.2.p0.38.el6.noarch.rpm--nogpgchecksudoyuminstall./zookeeper-3.4.3+28-1.cdh4.1.2.p0.34.el6.noarch.rpmsudoyuminstall./hadoop-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpmsudoyuminstall./hadoop-hdfs-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpmsudoyuminstall./hadoop-0.20-mapreduce-0.20.2+1265-1.cdh4.1.2.p0.24.el6.x86_64.rpmsudoyuminstall./hadoop-httpfs-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpmsudoyuminstall./hadoop-yarn-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpmsudoyuminstall./hadoop-mapreduce-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpmsudoyuminstall./hadoop-client-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm安装顺序sudoyuminstall./hbase-0.92.1+160-1.cdh4.1.2.p0.24.el6.noarch.rpmsudoyuminstall./hive-0.9.0+155-1.cdh4.1.2.p0.21.el6.noarch.rpmsudoyuminstall./oozie-client-3.2.0+126-1.cdh4.1.2.p0.10.el6.noarch.rpmsudoyuminstall./oozie-3.2.0+126-1.cdh4.1.2.p0.10.el6.noarch.rpmsudoyuminstall./pig-0.10.0+58-1.cdh4.1.2.p0.24.el6.noarch.rpmsudoyuminstall./hue-plugins-2.2.0+189-1.cdh4.2.0.p0.8.el6.x86_64.rpmsudoyuminstall./hue-common-2.1.0+221-1.cdh4.1.2.p0.9.el6.x86_64.rpmsudoyuminstall./flume-ng-1.2.0+122-1.cdh4.1.2.p0.7.el6.noarch.rpmsudoyuminstall./sqoop-1.4.1+54-1.cdh4.1.2.p0.21.el6.noarch.rpmsudoyuminstall./mahout-0.7+8-1.cdh4.1.2.p0.12.el6.noarch.rpmsudoyuminstall./impala-0.1-1.p0.316.el6.x86_64.rpmRpm-vxSshtelnet+ftp推荐课程：ClouderaHadoop4实战课程：Hadoop应用开发实战：欢迎访问我们的官方网站