Logstash + kibana+Elasticsearch 服务端部署文档(以上三个组件都是基

Logstash+kibana+Elasticsearch服务端部署文档（以上三个组件都是基于官网最新版）logstash服务端操作系统要求:Ubunutu14.04A.jdk安装步骤1.连接上操作系统执行jdk安装源，执行如下命令:sudoadd-apt-repository-yppa:webupd8team/java2.添加源成功以后如下命令执行命令sudoapt-getupdate&&sudoapt-get-yinstalloracle-java8-installer即可进行jdk的安装，安装的是最新版jdk1.8u45Jdk安装完成后我们安装ElasticSearch.B.安装ElasticSearch1.首先要导入elasticSerach的公共GPG密匙到apt安装源中，执行如下命令:owget–qO––KEY–elasticsearch|sudoapt–keyadd–2.创建ElasticSearch安装源，命令如下:echo“deb”|sudotee–a/etc/apt/sources.list.d/elasticsearch–1.7.list3.然后执行安装源更新和安装命令如下:sudoapt–getupdate&&sudoapt–getinstallelasticsearch4.待步骤3完成后我们需要更改配置文件，执行如下命令:sudovi/etc/elasticsearch/elasticsearch.yml然后修改network.host为localhost即可如所示:network.host:localhost修改完成保存然后执行重启命令:osudoserviceelasticsearchrestart5.修改elasticsearch操作系统启动时的优先级sudoupdate-rc.delasticsearchdefaults9510执行完以后，elasticsearch完成启动，接下来我们安装kibana前端搜索界面.C.安装kibana1.首先下载kibana到你的操作系统home目录下cd~;wget解压文件并编辑配置文件命令如下:解压命令如下:tarxvfkibana-*.tar.gz解压完成后编辑配置文件命令如下:vi~/kibana-4*/config/kibana.yml只需要修改其中host即可修改为localhost，如下所示：host:localhost3.然后拷贝kibana4到系统的opt目录下,操作步骤如下:a.先创建对应文件夹命令如下:sudomkdir-p/opt/kibanab.执行拷贝命令:sudocp-R~/kibana-4*/*/opt/kibana/c.需如果需要kibana作为服务启动，执行以下步骤:1).首先执行命令下载脚本命令如下:cd/etc/init.d&&sudowget)现在编辑文本下载的脚本，按顺序执行如下命令即可：1.sudochmod+x/etc/init.d/kibana42.sudoupdate-rc.dkibana4defaults9693.sudoservicekibana4startD.安装NGINX1.首先安装nginx，在命令行执行如下命令:sudoapt-getinstallnginxapache2-utils2.安装完成以后创建一个用户，用以基本保护访问的url。命令执行如下:sudohtpasswd-c/etc/nginx/htpasswd.userskibanaadmin然后输入密码即可建议设置密码Passwod-201506.3.然后进入编辑nginx配置文件，编辑文件如下:sudovi/etc/nginx/sites-available/default4.最后形成的配置文件如下:server{listen80;server_nameexample.com;auth_basic“RestrictedAccess”;auth_basic_user_file/etc/nginx/htpasswd.users;location/{proxy_pass‘upgrade';proxy_set_headerHost$host;proxy_cache_bypass$http_upgrade;}}5.配置文件保存后，重启nginx，命令如下：sudoservicenginxrestartE.安装logstash1.在操作系统加入logstash安装源，命令如下：echo“deb”|sudotee–a/etc/apt/sources.list2.源加入后，执行安装命令。命令如下:sudoapt-getupdate&&sudoapt-getinstalllogstash3.配置Logstash服务端配置文件,命令如下:sudovi/etc/logstash/conf.d/central.conf最后配置文件如下:input{redis{host=127.0.0.1port=6379type=redis-inputdata_type=listkey=logstashcodec=json}}output{stdout{}elasticsearch{cluster=elasticsearchprotocol=httphost=127.0.0.1index=logstash-%{+YYYY.MM.dd}}}然后启动服务端命令如下:sudoservicelogstashrestart,即可启动logstash4.客户端配置文件，配置文件如下（可以是任何操作系统以及任何目录）:input{file{type=tomcatpath=[本地日志文件路径]codec=plain{charset=ISO-8859-1}}}filter{if[type]==tomcat{multiline{pattern=(^%{TOMCAT_DATESTAMP})|(^%{CATALINA_DATESTAMP})negate=truewhat=previous}if_grokparsefailurein[tags]{drop{}}grok{match=[message,%{TOMCATLOG},message,%{CATALINALOG}]}date{match=[timestamp,yyyy-MM-ddHH:mm:ss,SSSZ,MMMdd,yyyyHH:mm:ssa]}}}output{stdout{codec=rubydebug}redis{host=redis服务器ip地址port=6379data_type=listkey=logstash}}此配置文件只需要替换掉本地日志文件路径为tomcat路径以及其他日志文件路径type也对应替换即可，这里以windows为例，进入logstash目录的bin目录然后执行如下命令:logstashagent--verbose--configsniff.conf--log../logs/stdout2.log即可启动客户端logstash程序F.创建ssl证书1.创建证书文件路径，命令如下:a).sudomkdir-p/etc/pki/tls/certsb).sudomkdir/etc/pki/tls/private2.创建证书有两种方法，一种是通过Ip地址来设置证书。另外一种通过FQDN方式来生成证书，下面开始介绍第一种方式:a.Ip地址生成证书1）编辑openssl配置文件，命令如下:sudovi/etc/ssl/openssl.cnf2)然后找到[v3_ca]这个选项，然后编辑配置subjectAltName=IP:logstash服务端部署的IP地址3)编辑完成后保存退出编辑文件后进入/etc/pki/tls目录，命令如下:cd/etc/pki/tls,然后敲入生成证书命令命令如下:sudoopensslreq-config/etc/ssl/openssl.cnf-x509-days3650-batch-nodes-newkeyrsa:2048-keyoutprivate/logstash-forwarder.key-outcerts/logstash-forwarder.crt,即可生成通信SSL证书.b.fqdn证书生成没有第二步骤直接进入第三步生成命令如下:sudoopensslreq-subj‘/CN=logstash_server_fqdn/’-x509-days3650-batch-nodes-newkeyrsa:2048-keyoutprivate/logstash-forwarder.key-outcerts/logstash-forwarder.crtG.配置kibana展现logstash采集的日志在浏览器里输入nginx配置的kinana的ip地址，然后输入配置的用户名kibanaadmin以及密码后会打开kinaba4的界面如下图:在下拉列表框中选择对应的字段@timestamp字段再点击CREATE按钮即可完成logstash与kibana的适配,然后就可以查看了，效果如下：然后根据每隔一段时间即可在这看到采集的最新tomcat日志.