ELK日志分析系统（使用篇）

ELK日志分析系统使用教程

1登陆kibana部署机器 http://172168160193:5601/ （这里的ip:port是自己将kibana部署的机器ip地址）

2选择左侧Discover菜单选项

3在搜索框输入要查询日志的关键字，比如事件执行订单号，商户订单号等

4增加结果过滤设置

5增加扩展字段显示

6增加结果排序和显示顺序设置

从此，解放徒手登陆服务器各个结点进行查询关键字的冗余工作，秒级分析关键日志。

创建kibana索引

若只需要收集显示nginx的访问日志，则可以建立一个名为nginx+时间的索引 

若是需要收集一个服务器下的多个服务日志，则可以在一个conf下添加多个input并根据type来区分和实现

环境 

1921682112 ES/kibana 

1921682118 logstash/nginx 

1921682117 logstash/mysql/nginx

建立nginx索引

1）在118服的logstash/etc目录下建立的nginxlogconf，添加

input {

   file {

       path => "/usr/local/nginx/logs/accesslog"

       type => "nginx"

   }

}

output {

   elasticsearch {

       hosts => "1921682112:9200"

       index => "nginx-%{+YYYYMMdd}"

       }

}12345678910111213

其中，index即代表对应的索引名称

2）然后启动logstash

[root@localhost etc]# pwd/usr/local/logstash/etc

[root@localhost etc]# /bin/logstash  -f nginxlogconf1234

3）登陆kibana设置索引

4）然后手动访问nginx页面后，可以在kibana的discover界面看到

收集nginx日志和mysql日志

1）把118服的logstash目录复制到117服对应目录下

scp -r logstash/  root@1921682117:/usr/local/logstash1

2）在117服logstash/etc目录下建立allconf

input {

   file {

       path => "/usr/local/nginx/logs/accesslog"

       type => "nginx"

   }

}

input {

   file {

       path => "/var/log/mysqldlog"

       type => "mysql"

   }

}

output {  if [type] == "nginx"{

   elasticsearch {

       hosts => "1921682112:9200"

       index => "nginx-%{+YYYYMMdd}"

       }

}if [type] == "mysql"{

   elasticsearch {

       hosts => "1921682112:9200"

       index => "mysql-%{+YYYYMMdd}"

       }

}

}1234567891011121314151617181920212223242526272829

3）在kibana页面建立mysql索引

4）启动logstash

[root@host107 etc]# pwd/usr/local/logstash/etc

[root@host107 etc]# /bin/logstash -f allconf1234

5）然后启动及关闭mysql服务，就可以看到日志数据

6）同样的，访问nginx页面后，也会收到nginx日志数据

备注： 

1）其中上面的host列显示0000，是因为没有设置主机名，在/etc/hosts下加上 

127001 hostmysqlnginx 

然后hostname hostmysqlnginx 

重启下logstash，就可以看到host

对于多台服务器上的多个Web服务，可以使用中间件来实现统一查看日志的功能。以下是一些常见的中间件：

1 ELK Stack（Elasticsearch, Logstash, Kibana）：ELK Stack是一套开源的日志管理解决方案。Elasticsearch用于存储和索引日志数据，Logstash用于收集、过滤和转发日志数据，Kibana用于可视化和查询日志数据。通过配置多台服务器上的Web服务将日志发送到Logstash，然后使用Kibana进行集中的日志查看和分析。

2 Graylog：Graylog是另一个开源的日志管理平台，提供集中的日志收集、存储和分析功能。它支持通过配置多台服务器上的Web服务将日志发送到Graylog，然后在Graylog界面上进行统一的日志查看和搜索。

3 Splunk：Splunk是一款商业化的日志管理和分析工具，可以用于集中管理多台服务器上的Web服务日志。通过配置服务器上的Splunk Forwarder将日志发送到Splunk服务器，然后在Splunk界面上进行统一的日志查看、搜索和分析。

这些中间件可以帮助你集中管理多台服务器上的Web服务日志，提供更方便的日志查看、搜索和分析功能。具体选择哪个中间件取决于你的需求、预算和技术能力。在使用中间件前，需要进行相应的配置和部署工作，确保服务器上的Web服务能够将日志发送到中间件中。

系统运维管理是许多公司在维护软件系统中非常重要的工作内容。今天，我们就一起来了解一下，在运维过程中都有哪些工具是需要我们掌握和使用的。