大数据培训_Module13支持大规模集群安装部署FusionInsightHD安装部署

FusionInsightHD安装与部署前言第1页FusionInsightManager是FusionInsightHD的运维管理系统，为部署在集群内的服务提供统一的集群管理能力，支持大规模集群的安装部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集、升级和补丁等功能。本章主要介绍华为FusionInsightHD安装与部署相关流程，以及相关注意事项。目标第2页学完本课程后，您将能够：清楚FusionInsighHD产品安装流程；描述安装前准备各种事项；了解FusionInsighHD产品具体安装过程；了解FusionInsighHD产品安装后配置；能够自行安装FusionInsighHD产品；处理常见安装问题；目录第3页1.FusionInsightHD基本概念2.FusionInsightHD安装流程3.FusionInsightHD安装前准备4.FusionInsightHD安装过程具体步骤5.FusionInsightHD安装后检查项6.FusionInsightHD安装后配置7.FusionInsightHD安装过程常见问题处理方法FusionInsightHD基本概念第4页基本概念说明OMS节点：操作维护系统的管理节点，一般有两个，互为主备AgentNode：操作维护系统中的被管理节点，一般有多个，负责接收并执行OMS节点的管理命令，比如启动一个DataNode实例集群：管理节点和服务的一个逻辑概念服务：对外提供服务的服务组件，比如HDFS、HBase角色：服务组件的逻辑组成部分，比如HDFS的NameNode和DataNode实例：承载角色运行的一个具体进程，比如NameNode会部署到两个节点上形成两个运行的进程，这两个进程就是两个实例目录第5页1.FusionInsightHD基本概念2.FusionInsightHD安装流程3.FusionInsightHD安装前准备4.FusionInsightHD安装过程具体步骤5.FusionInsightHD安装后检查项6.FusionInsightHD安装后配置7.FusionInsightHD安装过程常见问题处理方法FusionInsightHD安装流程软件安装与部署PC/工具/文档准备环境规划数据生成配置文件LLD工具生成手动生成配置操作系统安装集群模板自动化安装手动安装检查服务状态安装前准备安装后检查检查主机状态北向配置监控告警配置用户配置安装后配置校验软件包检查节点环境安装Manager第6页目录第7页1.FusionInsightHD基本概念2.FusionInsightHD安装流程3.FusionInsightHD安装前准备4.FusionInsightHD安装过程具体步骤5.FusionInsightHD安装后检查项6.FusionInsightHD安装后配置7.FusionInsightHD安装过程常见问题处理方法FusionInsightHD安装前准备软件工具：PuTTY、WinSCP、网络浏览器、解压工具等配置规划工具(LLD工具):生成安装过程中所需的配置文件版本说明书：硬件、软件的版本配套关系指引准备工具和文档硬件：FusionInsightHD支持通用的X86服务器软件：Linux操作系统（例如SuSE、RedHat或CentOS）FusionInsightHD软件包其他：可靠性要求、磁盘分区要求准备环境规划数据规划集群部署方案规划网络参数（支持双平面隔离组网）规划角色部署位置，可使用配置规划工具辅助规划第8页目录第9页1.FusionInsightHD基本概念2.FusionInsightHD安装流程3.FusionInsightHD安装前准备4.FusionInsightHD安装过程具体步骤5.FusionInsightHD安装后检查项6.FusionInsightHD安装后配置7.FusionInsightHD安装过程常见问题处理方法FusionInsightHD安装与部署将获取的FusionInsightHD软件压缩包解压，生成FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz和FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha256解压软件包用WinSCP工具登录将要安装Manager的服务器，将上述软件包传输到管理节点指定目录上传软件包校验软件包在管理节点执行命令，完成校验和解压1.sha256sum-cFusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha2562.tar-zxfFusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz第10页生成配置文件利用《配置规划工具》生成各项安装配置文件，并上传到相应节点的指定路径，生成的配置文件在安装Manager和自动化安装集群时会被使用第11页配置节点操作系统第12页目的：即执行preinstall.sh，以此来配置节点操作系统环境，使其满足FusionInsightHD的安装要求Step1.适配OS：修改OS配置，使OS满足FusionInsightHD的安装要求。包括检查内核版本、关闭swap分区、设置共享内存大小、设置服务器时区、配置业务和主机名的映射等Step2.补齐RPM包：执行preinstall，可以自动补齐OS缺失的RPM包Step3.格式化分区：执行preinstall，可以自动对服务器磁盘进行格式化，使磁盘满足FusionInsightHD的分区要求具体操作参考《软件安装》手册，首次安装请务必执行preinstall注意：操作前务必保证所有节点的操作系统root用户密码一致。检查节点环境第13页目的：即执行precheck.sh，以此来检查节点操作系统环境是否满足FusionInsightHD的安装要求方式一：执行precheck，带配置文件参数，检查所有节点环境（推荐）方式二：执行precheck，不带配置文件参数，只检查本节点环境precheck脚本可反复使用，执行后会列出检查不通过的项，用户根据《软件安装》手册的修复建议进行修复，修复完后再次执行precheck检查注意：请务必确保precheck脚本的所有检查项都通过，再进入后续安装步骤安装Manager•包含两个管理节点，分别为主管理节点和备管理节点，用以保证业务的连续性及高可靠性•推荐使用安装双机Manager•仅包含一个管理节点，当出现系统掉电等意外场景时无法保证业务的可靠性•不推荐使用安装单机Manager第14页有双机/单机两种方式进行Manager安装安装双机Manager安装双机Manager步骤1获取配置文件，该文件可由LLD工具生成，也可手动填写。配置文件填写举例如右图所示。2在主备管理节点分别执行安装命令Eg:sh/opt/FusionInsight_Hadoop/software/install.sh–f/opt/install.ini第15页安装双机Manager第16页安装命令执行结果显示如果出现”InstallSuccessfully”字样，即表示安装Manager成功，可以通过提示的URL地址进行浏览器访问，从而继续安装集群安装单机Manager安装单机Manager步骤使用-msingle（也可以通过配置文件安装），执行命令：sh/opt/FusionInsight_Hadoop/software/install.sh–msingle命令执行结果显示第17页安装集群1配置浏览器2登录FusionInsightManager系统3首次登录修改密码，修改密码成功后使用新密码重新登录第18页首次登陆需要修改密码安装集群•使用LLD工具生成的安装模板，可以自动填写安装时所需的各项参数•推荐使用模板自动化安装集群•在界面上手工填写各项参数•不推荐使用手动安装集群第19页有模板安装/手动安装两种方式进行集群安装模板自动化安装集群Step1.进入安装页面，选择TemplateInstallation导入准备好的安装模板，点击OK第20页模板自动化安装集群Step2.系统跳转至确认页面，该页面包含安装模板中填写的相关信息第21页模板自动化安装集群Step3.如果确认无误，则点击Submit按键进行提交；如果发现配置规划数据有误，可点击Back按键，回到各配置项检查或更改参数值第22页模板自动化安装集群Step4.安装等待：提交集群安装请求后，界面显示安装集群进度，全部步骤完成后点击Finish按键第23页手动安装集群Step1.进入安装页面，选择ManualInstallation，点击OK第24页手动安装集群Step2.填写集群基本信息，即：填写集群名称、选择集群版本和安全模式、填写集群描述信息（可选），点击Next按键进入下一页面第25页手动安装集群Step3.发现节点。输入主机信息以及主机root用户密码，然后点击“StartDiscovery”，选择发现成功的节点，点击Next进入下一页面第26页手动安装集群Step4.选择安装节点与设置机架。根据需要选择节点并为其设置机架信息，支持单独设置和统一设置。完成设置后，点击Next进入服务选择页面第27页手动安装集群Step5.选择安装服务。根据业务需要选择待安装的服务，当选择上层服务时，系统会自动为其选择依赖的底层服务第28页手动安装集群Step6.拓扑设置。根据规划，将组件部署到指定节点上。完成设置后点击Next进入服务配置页面第29页手动安装集群Step7.安装配置。配置必须要设置的配置项，完成设置后点击Next进入确认页面第30页手动安装集群Step8.选择升级模式。选择版本升级模式，推荐选择CommonMode，完成选择后点击Next进入确认页面第31页手动安装集群Step9.提交安装。完成配置操作后，进入确认页面，确认页面包含前面步骤的概要信息。确认后点击submit按键进行提交第32页手动安装集群Step10.安装等待。提交集群安装请求后，界面显示安装集群进度，全部步骤完成后点击Finish按键第33页目录第34页1.FusionInsightHD基本概念2.FusionInsightHD安装流程3.FusionInsightHD安装前准备4.FusionInsightHD安装过程具体步骤5.FusionInsightHD安装后检查6.FusionInsightHD安装后配置7.FusionInsightHD安装过程常见问题处理方法安装后检查集群安装成功后，登录管理页面进行安装后检查Step1.观察仪表盘：Dashboard页面上图形正常显示，ServiceSummary图中组件健康状态为Good第35页安装后检查Step2.服务健康检查，集群安装成功后，登录管理页面，点击MoreActions中的HealthCheck进行服务的健康检查第36页安装后检查Step3.服务状态检查，集群安装成功后，登录管理页面检查Services页面所有组件，操作状态为Started，健康状态为Good，配置状态为Synchronized第37页安装后检查Step4.主机状态检查，点击”Hosts”图标，各节点”HealthStatus”均为”Good”第38页安装后检查Step5.告警检查，页面右上角各类告警的个数均为0，听不到告警铃声进入告警页面，无告警信息显示第39页目录第40页1.FusionInsightHD基本概念2.FusionInsightHD安装流程3.FusionInsightHD安装前准备4.FusionInsightHD安装过程具体步骤5.FusionInsightHD安装后检查项6.FusionInsightHD安装后配置7.FusionInsightHD安装过程常见问题处理方