filebeat+elasticsearch+logstash+kibana收集系统日志(docker)

我们这里用到的是 filebeat+elk(elasticsearch+logstash+kibana) 来进行系统日志的收集。filebeat安装在各个服务器中，Logstash+ElasticSearch+Kibana安装在一台专门用于基础服务的服务器上。

Filebeat是一个轻量级的托运人，用于转发和集中日志数据 Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到 ElasticSearch 或 Logstash 进行索引

官方中文文档： https://s0www0elastic0coicopysite/guide/en/beats/filebeat/current/indexhtml

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。

官方中文文档： https://s0www0elastic0coicopysite/guide/en/logstash/current/indexhtml

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库--无论是开源还是私有。

官方中文文档： https://s0www0elastic0coicopysite/guide/en/elasticsearch/reference/current/indexhtml

《Elasticsearch:权威指南》： https://wwwelasticco/guide/cn/elasticsearch/guide/current/indexhtml

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

官方中文文档： https://wwwelasticco/guide/cn/kibana/current/indexhtml

nginxconf中设置日志文件格式:

修改完成后，通过 sudo nginx -t 来检查配置文件是否正确，然后 sudo nginx -s reload 来重启

filebeat各系统安装教程详见官方文档。

我这里安装的deb包(rpm包也同样)，配置文件在 /etc/filebeat/filebeatyml ,

filebeat命令：

参数介绍：

在/usr/local/文件夹下依次创建logstash/confd/logstashconf

grok正则在线验证地址： http://grokdebugherokuappcom

正则代表的含义： https://githubcom/elastic/logstash/blob/v142/patterns/grok-patterns

配置成功后，执行如下命令重启docker中的logstash (有时会重启失败，多试几次吧)

在浏览器中输入 http://ip:5601 进入kibana

然后如下设置

然后创建 index pattern

然后选择@timestamp

最后在Discover标签页就可以看到了

是不是要些论文交作业啊！ 呵呵

现有的防火墙主要有：包过滤型、代理服务器型、复合型以及其他类型（双宿主主机、主机过滤以及加密路由器）防火墙。

包过滤（Ｐａｃｋｅｔ Ｆｌｉｔｅｒ）通常安装在路由器上，而且大多数商用路由器都提供了包过滤的功能。包过滤规则以ＩＰ包信息为基础，对ＩＰ源地址、目标地址、封装协议、端口号等进行筛选。包过滤在网络层进行。

代理服务器型（Ｐｒｏｘｙ Ｓｅｒｖｉｃｅ）防火墙通常由两部分构成，服务器端程序和客户端程序。客户端程序与中间节点（Ｐｒｏｘｙ Ｓｅｒｖｅｒ）连接，中间节点再与提供服务的服务器实际连接。与包过滤防火墙不同的是，内外网间不存在直接的连接，而且代理服务器提供日志（Ｌｏｇ）和审计（Ａｕｄｉｔ）服务。

复合型（Ｈｙｂｆｉｄ）防火墙将包过滤和代理服务两种方法结合起来，形成新的防火墙，由堡垒主机（Ｂａｓｔｉｏｎ Ｈｏｓｔ）提供代理服务。

各类防火墙路由器和各种主机按其配置和功能可组成各种类型的防火墙，主要有：双宿主主机防火墙（Ｄｕａ１－Ｈｏｍｅｄ Ｈｏｓｔ Ｆｉｒｅｗａｌｌ），它是由堡垒主机充当网关，并在其上运行防火墙软件，内外网之间的通信必须经过堡垒主机；主机过滤防火墙（ Ｓｃｒｅｅｎｅｄ Ｈｏｓｔ Ｆｉｒｅｗａｌｌ）是指一个包过滤路由器与外部网相连，同时，一个堡垒主机安装在内部网上，使堡垒主机成为外部网所能到达的惟一节点，从而确保内部网不受外部非授权用户的攻击；加密路由器（Ｅｎｃｒｙｐｔｉｎｎ Ｒｏｕｔｅｒ），加密路由器对通过路由器的信息流进行加密和压缩，然后通过外部网络传输到目的端进行解压缩和解密。

各类防火墙的基本功能、作用与不足

典型的防火墙应包含如下模块中的一个或多个：包过滤路由器、应用层网关（或代理服务器）以及链路层网关。

１、包过滤路由器

包过滤路由器将对每一个接收到的包进行允许／拒绝的决定。具体地，它对每一个数据报的包头，按照包过滤规则进行判定，与规则相匹配的包依据路由表信息继续转发，否则，则丢弃之。

与服务相关的过滤，是指基于特定的服务进行包过滤，由于绝大多数服务的监听都驻留在特定ＴＣＰ�ＵＤＰ端口，因此，阻塞所有进入特定服务的连接，路由器只需将所有包含特定 ＴＣＰ／ＵＤＰ目标端口的包丢弃即可。

独立于服务的过滤，有些类型的攻击是与服务无关的，比如：带有欺骗性的源ＩＰ地址攻击（包中包含一个错误的内部系统源ＩＰ地址，经掩饰后变成一个似乎来自于一个可以信任的内部主机，此时的过滤规则为：当一个具有内部源ＩＰ地址的包到达路由器的任意一个外部接口时，将此包丢弃。）、源路由攻击、细小碎片攻击（入侵者使用ＩＰ分裂技术将包划分成很小的一些碎片，然后将ＴＣＰ头的信息插入包的一个小碎片中，寄希望过滤规则为丢弃协议类型为ＴＣＰ而ＩＰ帧偏移量为１的所有包）等。由此可见此类网上攻击仅仅借助包头信息是难以识别的，此时，需要路由器在原过滤规则的基础附上另外的条件，这些条件的判别信息可以通过检查路由表、指定ＩＰ选择、检查指定帧偏移量等获得。

包过滤路由器的优点，大多数防火墙配置成无状态的包过滤路由器，因而实现包过滤几乎没有任何耗费。另外，它对用户和应用来说是透明的，每台主机无需安装特定的软件，使用起来比较方便。

包过滤路由器的局限性在于定义包过滤是个复杂的工作，网络管理员需要对各种因特网服务、包头格式以及希望在每一个城找到的特定的值有足够的了解：面对复杂的过滤需求，过滤规则将是一个冗长而复杂、不易理解和管理的集合，同样也很难测试规则的正确性；任何直接通过路由器的包都可能被利用做为发起一个数据驱动的攻击；随着过滤数目的增加，将降低路由器包的吞吐量，同时耗费更多ＣＰＵ的时间而影响系统的性能；再者ＩＰ包过滤难以进行行之有效的流量控制，因为它可以许可或拒绝一个特定的服务，但无法理解一个特定服务的内容或数据。

３、应用层网关

应用层网关允许网络管理员实施一个较包过滤路由器更为严格的安全策略，为每一个期望的应用服务在其网关上安装专用的代码（一个代理服务），同时，代理代码也可以配置成支持一个应用服务的某些特定的特性。对应用服务的访问都是通过访问相应的代理服务实现的，而不允许用户直接登录到应用层网关（ｂａｓｔｉｏｎ ｈｏｓｔ）。

应用层网关安全性的提高是以购买同关硬件平台的费用为代价，网关的配置将降低对用户的服务水平，但增加了安全配置上的灵活性。

应用层网关的好处，在于它授予网络管理员对每一个服务的完全控制权，由代理服务限制了命令集合和哪一台内部主机支持相应的服务。同时，网络管理员对支持哪些服务可以完全控制。另外，应用层网关支持强的用户认证、提供详细的日志信息、以及较包过滤路由器更易于配置和测试的过滤规则。

当然，应用层网关的最大的局限性在于它需要用户或者改变其性能，或者在需要访问代理服务的系统上安装特殊的软件。

３、链路层网关

链路层网关是可由应用层网关实现的特殊功能。它仅仅替代ＴＣＰ连接而无需执行任何附加的包处理和过滤。