linux中 通过监控工具发现服务器在某一时间段CPU 和流量有较大波动排查？

使用dstat工具，一般Linux发行版自带，可以监控统计CPU使用最高的进程

例如

dstat --top-cpu 2

每2秒显示一次CPU使用最多的进程

把这个重定向到一个文件就能事后分析了

dstat功能很多，可以查下资料

推荐使用美信云网管。

1 支持监控10台Windows、Linux服务器和网络设备，或者50个PING和URL；

2 监控内容包括：CPU、内存、磁盘、网卡、进程、端口、目录、文件、日志、端口up/down、流量、带宽、丢包率、错包率、网络可用性、URL下载时间、网页防篡改等上百个指标参数；

3 支持邮件、短消息、声音和远程声音告警；

4 支持健康报告、指标报告、对比报告等多种报告；

5 支持状态统计、我的仪表盘、管理对象和监测点等多种视图显示。

云网管迷你版同时提供在线帮助和论坛的官方自助服务

Monit是什么？

Monit是

一个跨平台的用来监控Unix/linux系统（比如Linux、BSD、OSX、Solaris）的工具。Monit特别易于安装，而且非常轻量级（只

有500KB大小），并且不依赖任何第三方程序、插件或者库。然而，Monit可以胜任全面监控、进程状态监控、文件系统变动监控、邮件通知和对核心服务

的自定义动作等场景。易于安装、轻量级的实现以及强大的功能，让Monit成为一个理想的后备监控工具。

我

已经在一些机器使用Monit几年了，而且我对它的可靠性非常满意。甚至作为全面的监控系统，对任何Linux系统管理员来说Monit也是非常有用和强

大的。在这篇教程中，我会展示如何在一个本地服务器部署Monit（作为后备监控系统）来监控常见的服务。在部署过程中，我只会展示我们用到的部分。

在Linux安装Monit

Monit已经被包含在多数Linux发行版的软件仓库中了。

Debian、Ubuntu或者Linux Mint：

$ sudo aptitude install monit

Fedora或者CentOS/RHEL：

在CentOS/RHEL中，你必须首先启用EPEL或者Repoforge软件仓库

# yum install monit

Monit

自带一个文档完善的配置文件，其中包含了很多例子。主配置文件在/etc/monitconf（Fedora/CentOS/RHEL

中），或者/etc/monit/monitrc（Debian/Ubuntu/Mint

中）。Monit配置文件有两部分：“Global”（全局）和“Services”（服务）。

Global Configuration: Web Status Page （全局配置：Web状态页面）

Monit可以使用邮件服务来发送通知，也可以使用HTTP/HTTPS页面来展示。我们先使用如下配置的web状态页面吧：

Monit监听1966端口。

对web状态页面的访问是通过SSL加密的。

使用monituser/romania作为用户名/口令登录。

只允许通过localhost、myhostmydomainro和在局域网内部（19216800/16）访问。

Monit使用pem格式的SSL证书。

之后的步骤，我会使用一个基于Red Hat的系统。在基于Debian的系统中的步骤也是类似的。

首先，在/var/cert生成一个自签名的证书（monitpem）：

# mkdir /var/certs # cd /etc/pki/tls/certs # /make-dummy-cert monitpem # cp monitpem /var/certs # chmod 0400 /var/certs/monitpem

现在将下列代码片段放到Monit的主配置文件中。你可以创建一个空配置文件，或者基于自带的配置文件修改。

set httpd port 1966 and SSL ENABLE PEMFILE /var/certs/monitpem allow monituser:romania allow localhost allow 19216800/16 allow myhostmydomainro

Global Configuration: Email Notification （全局配置：邮件通知）

然后，我们来设置Monit的邮件通知。我们至少需要一个可用的SMTP服务器来让Monit发送邮件。这样就可以（按照你的实际情况修改）：

邮件服务器的机器名：smtpmonitro

Monit使用的发件人：monit@monitro

邮件的收件人：guletz@monitro

邮件服务器使用的SMTP端口：587（默认是25）

有了以上信息，邮件通知就可以这样配置：

set mailserver smtpmonitro port 587 set mail-format { from: monit@monitro subject: $SERVICE $EVENT at $DATE on $HOST message: Monit $ACTION $SERVICE $EVENT at $DATE on $HOST : $DESCRIPTION Yours sincerely, Monit } set alert guletz@monitro

就像你看到的，Monit会提供几个内部变量（$DATE、$EVENT、$HOST等），你可以按照你的需求自定义邮件内容。如果你想要从Monit所在机器发送邮件，就需要一个已经安装的与sendmail兼容的程序（如postfix或者ssmtp）。

Global Configuration: Monit Daemon （全局配置：Monit守护进程）

接下来就该配置Monit守护进程了。可以将其设置成这样：

在120秒后进行第一次检测。

每3分钟检测一次服务。

使用syslog来记录日志。

如下代码段可以满足上述需求。

set daemon 120 with start delay 240 set logfile syslog facility log_daemon

我们必须定义“idfile”，Monit守护进程的一个独一无二的ID文件；以及“eventqueue”，当monit的邮件因为SMTP或者网络故障发不出去，邮件会暂存在这里；以及确保/var/monit路径是存在的。然后使用下边的配置就可以了。

set idfile /var/monit/id set eventqueue basedir /var/monit

测试全局配置

现在“Global”部分就完成了。Monit配置文件看起来像这样：

# Global Section # status webpage and acl's set httpd port 1966 and SSL ENABLE PEMFILE /var/certs/monitpem allow monituser:romania allow localhost allow 19216800/16 allow myhostmydomainro # mail-server set mailserver smtpmonitro port 587 # email-format set mail-format { from: monit@monitro subject: $SERVICE $EVENT at $DATE on $HOST message: Monit $ACTION $SERVICE $EVENT at $DATE on $HOST : $DESCRIPTION Yours sincerely, Monit } set alert guletz@monitro # delay checks set daemon 120 with start delay 240 set logfile syslog facility log_daemon # idfile and mail queue path set idfile /var/monit/id set eventqueue basedir /var/monit

现在是时候验证我们的工作了，你可以通过运行如下命令来验证存在的配置文件（/etc/monitconf）：

# monit -t Control file syntax OK

如果monit提示任何错误，请再检查下配置文件。幸运的是，错误/警告信息是可以帮助你发现问题的，比如：

monit: Cannot stat the SSL server PEM file '/var/certs/monitpem' -- No such file or directory /etc/monit/monitrc:10: Warning: hostname did not resolve 'smtpmonitro'

一旦你确认配置文件没问题了，可以启动monit守护进程，然后等2到3分钟：

# service monit start

如果你使用的是systemd，运行：

# systemctl start monit

现在打开一个浏览器窗口，然后访问https://<monit_host>:1966。将<monit_host>替换成Monit所在机器的机器名或者IP地址。

如果你使用的是自签名的SSL证书，你会在浏览器中看到一个警告信息。继续访问即可。

你完成登录后，就会看到这个页面。

在这个教程的其余部分，我们演示监控一个本地服务器和常见服务的方法。你会在官方wiki页面看到很多有用的例子。其中的多数是可以直接复制粘贴的！

Service Configuration: CPU/Memory Monitoring （服务配置：CPU、内存监控）

我们先来监控本地服务器的CPU、内存占用。复制如下代码段到配置文件中。

check system localhost if loadavg (1min) > 10 then alert if loadavg (5min) > 6 then alert if memory usage > 75% then alert if cpu usage (user) > 70% then alert if cpu usage (system) > 60% then alert if cpu usage (wait) > 75% then alert

你可以很容易理解上边的配置。最上边的check是指每个监控周期（全局配置里设置的120秒）都对本机进行下面的操作。如果满足了任何条件，monit守护进程就会使用邮件发送一条报警。

如果某个监控项不需要每个周期都检查，可以使用如下格式，它会每240秒检查一次平均负载。

if loadavg (1min) > 10 for 2 cycles then alert

Service Configuration: SSH Service Monitoring （服务配置：SSH服务监控）

先检查我们的sshd是否安装在/usr/sbin/sshd：

check file sshd_bin with path /usr/sbin/sshd

我们还想检查sshd的启动脚本是否存在：

check file sshd_init with path /etc/initd/sshd

最后，我们还想检查sshd守护进程是否存活，并且在监听22端口：

check process sshd with pidfile /var/run/sshdpid start program "/etc/initd/sshd start" stop program "/etc/initd/sshd stop" if failed port 22 protocol ssh then restart if 5 restarts within 5 cycles then timeout

我

们可以这样解释上述配置：我们检查是否存在名为sshd的进程，并且有一个保存其pid的文件存在（/var/run/sshdpid）。如果任何一个

不存在，我们就使用启动脚本重启sshd。我们检查是否有进程在监听22端口，并且使用的是SSH协议。如果没有，我们还是重启sshd。如果在最近的5

个监控周期（5x120秒）至少重启5次了，sshd就被认为是不能用的，我们就不再检查了。

Service Configuration: SMTP Service Monitoring （服务配置：SMTP服务监控）

现在我们来设置一个检查远程SMTP服务器（如192168111102）的监控。假定SMTP服务器运行着SMTP、IMAP、SSH服务。

check host MAIL with address 192168111102 if failed icmp type echo within 10 cycles then alert if failed port 25 protocol smtp then alert else if recovered then exec "/scripts/mail-script" if failed port 22 protocol ssh then alert if failed port 143 protocol imap then alert

我

们检查远程主机是否响应ICMP协议。如果我们在10个周期内没有收到ICMP回应，就发送一条报警。如果监测到25端口上的SMTP协议是异常的，就发

送一条报警。如果在一次监测失败后又监测成功了，就运行一个脚本（/scripts/mail-script）。如果检查22端口上的SSH或者143端

口上的IMAP协议不正常，同样发送报警。

推荐个监控软件zabbix，如果你不嫌麻烦就用脚本监控系统性能？

这个只能根据实际环境写，搜集系统性能后生成报告ftp到日志服务器。

或者scp

或者

rsync

vmstat 1，文本显示，1代表1s刷新一次

想要曲线的话，把vmstat的结果保存到文本里，然后切到excel下绘图

如果不需要那么短的周期，可用cacti，通过snmp调用，5分钟一个周期。

loadrunner 性能测试工具就可以达成这个目标

服务器的内存、CPU、硬盘、等使用情况都可以监控到，当然这个服务器都启动相关的服务才行

如果是要监控数据库，如oracle、DB2等，最好搭配sitescope 这个工具使用会更好

当然远程监控的前提是要配置一些参数和服务

SUM服务器监控软件吧

可以监控所有品牌的服务器的CPU\内存、磁盘、流量、网络、数据库、中间件，还能监控网络设备

有啥情况可以短信和邮件通知，比较方便

你看看吧，我们用的就是这个，只是温度不能监控，其他都可以