商业源码 如何监控服务器的磁盘性能
Linux服务器性能监测是很重要的工作，服务器运行应该提供最有效的系统性能。当服务器系统性能突然低于平均应有的情况，问题可能来自在执行的进程、内存的使用率、磁盘的性能、网络流量和CPU 的压力。在预算短缺的今天，理解如何优化系统性能比以往任何时候都重要。 要实现它的前提是，你必须充分了解自己的计算机和网络，从而找到真正的瓶颈所在。本文提供一些基础的工具来辨别和处理一些性能问题。使用的Linux 发行版本是Red Hat Enterprise Linux 4，工作过程是：首先查看整个系统的状态，然后是检查特定的子系统。 Linux服务器进行性能监控有几种方法，每种方法都各有其优缺点。 使用SNMP等标准工具 标准及非标准工具能执行一个或多个收集、合并及传输阶段，如rstatd或SNMP工具，然而标准的rstat后台程序提供的信息是有限的，速度慢而且效率低。 内核模块 几个系统监控工程利用内核模块来存取监控数据。一般情况下，这是很有效的收集系统数据的方法。然而这种方法存在的问题是，当主内核源内有其它改变时，必须保持代码一致性。一个内核模块可能与用户想使用的其它内核模块相冲突。此外，在使用监控系统之前，用户必须获得或申请模块。 /proc虚拟文件系统 /proc虚拟文件系统是一个较快的、高效率执行系统监控的方法。使用/proc的主要缺点是必须保持代码分析与/proc 文件格式改变的同步。事实表明，Linux内核的改变比/proc 文件格式的改变要更频繁，所以，用/proc虚拟文件系统比用内核模块存在的问题要少。本文介绍的方法即基于/proc虚拟文件系统。 一、 /proc文件系统特点 Linux 系统向管理员提供了非常好的方法，使他们可以在系统运行时更改内核，而不需要重新引导内核系统。这是通过 /proc 虚拟文件系统实现的。/proc 文件虚拟系统是一种内核和内核模块用来向进程 (process) 发送信息的机制 (所以叫做 /proc)。这个伪文件系统让你可以和内核内部数据结构进行交互，获取 有关进程的有用信息，在运行中 (on the fly) 改变设置 (通过改变内核参数)。 与其他文件系统不同，/proc 存在于内存之中而不是硬盘上。不用重新启动而去看 CMOS ，就可以知道系统信息。这就是 /proc 的妙处之一。 小提示: 每个Linux系统根据软硬件不同/proc 虚拟文件系统的内容也有些差异。/proc 虚拟文件系统有三个很重要的目录：net，scsi和sys。Sys目录是可写的，可以通过它来访问或修改内核的参数，而net和scsi则依赖于内核配置。
Windows服务器中自带的性能监控工具叫做Performance Monitor；
在开始-运行中输入‘perfmon’，然后回车即可运行。
Monitor本身也是一个进程，运行起来也要占用一定的系统资源。所以你看到的资源的使用量应该比实际的要稍微高一点。这个工具在帮助管理员判断系统性能瓶颈时非常有用；
举个列子来说，今天有个用户抱怨说他们项目组的服务器（这是一台虚拟机）运行起来非常慢，但也不知道具体问题出在什么地方。任务管理器里显示CPU和内存的使用量都不算高，但服务器的相应就是非常慢；
Monitor，让其运行一段时间后（因为参考平均值会比较准确），发现average disk queue的值比较高，这就说明物理服务器的硬盘负荷太重，I/O操作的速度跟不上系统的要求。关掉虚拟机，将其转移到另一台硬盘负载比较小的主机上，再打开虚拟机。
分析性能情况
1、内存泄露判断
虚拟内存字节数（VirtualBytes）应该远大于工作集字节数（Workingset），如果两者变化规律相反，比如说工作集增长较快，虚拟内存增长较少，则可能说明出现了内存泄露的情况。
对于Workingset、Private Bytes、Available bytes这些计数器，如果在测试期间内数值持续增长，而且测试停止后位置在高水平，则也说明存在内存泄露。
Windows资源监控中，如果Process\PrivateBytes计数器和Process\WorkingSet计数器的值在长时间内持续升高，同时Memory\Available
bytes计数器的值持续降低，则很可能存在内存泄漏。
2、CPU使用情况
一般平均不要超过70%，最大不要超过90%（好：70% 、坏：85%、 很差：90%）。
3、tps（每秒处理事务的数量，在SOAPUI中进行统计）
一般在10-100，不同应用程序具体值不同。
<HTML>
<HEAD>
<META NAME="GENERATOR" Content="Microsoft System Monitor">
<META HTTP-EQUIV="Content-Type" content="text/html; charset=iso-8859-1">
</HEAD><BODY>
<OBJECT ID="DISystemMonitor1" WIDTH="100%" HEIGHT="100%"
CLASSID="CLSID:C4D2D8E0-D1DD-11CE-940F-008029004347">
<PARAM NAME="Counter00001Path" VALUE="\\your name\Memory\Available MBytes">
<PARAM NAME="Counter00001AlertOverUnder" VALUE="0">
<PARAM NAME="Counter00001AlertThreshold" VALUE="100">
<PARAM NAME="Counter00002Path" VALUE="\\your name\Memory\Pool Nonpaged Bytes">
<PARAM NAME="Counter00002AlertOverUnder" VALUE="0">
<PARAM NAME="Counter00002AlertThreshold" VALUE="1000">
<PARAM NAME="Counter00003Path" VALUE="\\your name\Memory\Pool Paged Bytes">
<PARAM NAME="Counter00003AlertOverUnder" VALUE="0">
<PARAM NAME="Counter00003AlertThreshold" VALUE="1000">
<PARAM NAME="Counter00004Path" VALUE="\\your name\Processor(_Total)\% Processor Time">
<PARAM NAME="Counter00004AlertOverUnder" VALUE="1">
<PARAM NAME="Counter00004AlertThreshold" VALUE="99">
<PARAM NAME="CounterCount" VALUE="4">
<PARAM NAME="UpdateInterval" VALUE="1">
<PARAM NAME="SampleIntervalUnitType" VALUE="1">
<PARAM NAME="SampleIntervalValue" VALUE="1">
<PARAM NAME="CommandFile" VALUE="">
<PARAM NAME="NetworkName" VALUE="">
<PARAM NAME="UserText" VALUE="">
<PARAM NAME="PerfLogName" VALUE="">
<PARAM NAME="ActionFlags" VALUE="1">
<PARAM NAME="_Version" VALUE="196611">
<PARAM NAME="AlertName" VALUE="Pref">
<PARAM NAME="Comment" VALUE="Pref">
<PARAM NAME="LogType" VALUE="2">
<PARAM NAME="CurrentState" VALUE="1">
<PARAM NAME="LogFileMaxSize" VALUE="-1">
<PARAM NAME="LogFileBaseName" VALUE="Pref">
<PARAM NAME="LogFileSerialNumber" VALUE="1">
<PARAM NAME="LogFileFolder" VALUE="C:\PerfLogs">
<PARAM NAME="LogFileAutoFormat" VALUE="1">
<PARAM NAME="LogFileType" VALUE="5">
<PARAM NAME="StartMode" VALUE="0">
<PARAM NAME="StopMode" VALUE="0">
<PARAM NAME="RestartMode" VALUE="0">
<PARAM NAME="LogFileName" VALUE="">
</OBJECT>
</BODY>
</HTML>
把your name改成你服务器的名字
事实上，利用一些简单的Linux命令，可以发现许多管理主机的细节问题并且能迅速而简单地解决性能问题。
一、top
对许多管理员来说，最新学会的就是TOP命令，它可以显示出当前运行的所有内核任务，并且提供了一些主机状态的统计报告。默认地，TOP命令每隔五分钟自动更新一次这个数据(这个更新间隔是可设置的)。
TOP命令的功能丰富到令人难以置信(估计很少有人使用过一半以上的功能)。一般来说你会以‘h’键开始，就是‘help’(说明文档也非常精彩)。帮助参数可以快速显示出你能从中增加和减去的内容，同时也可以改变排序。你还可以用k来结束进程或者用r标注特别的进程。
Top命令显示当天的正常运行时间、系统负载、处理器的数量、内存的使用率和哪些进程使用了大多数CPU资源(包括每个进程的大量相关信息，例如在线用户和正在执行的命令等)。
二、vmstat
Vmstat命令提供给你一个当前CPU、IO、进程和内存使用率的快照。和TOP命令一样，它自动动态刷新，并且可以用下面的命令执行：
$ vmstat 10
在这里延迟是指两次刷新间隔的以秒为单位的时间，这里是10秒钟。VMSTAT命令会将检查的结果不停刷新显示在屏幕上，直到你用CTRL-C命令结束它(或者你也可以在执行的时候设置一个限制)。这个持续输出的结果有时候被用来导入到文件中用来分析性能趋势，但是我们将找到更好的方式来做这件事情，在文章后面的部分会介绍。
第一列显示的是处理器， r列是待命的处理器，而b列是休眠的处理器。如果你在这里看到好多个待命的处理器，那说明你可能在某个地方遇到了性能瓶颈。第二列显示的是内存：虚拟的，空闲的，缓冲和缓存内存。第三列显示的是交换存储以及具体有多少内存在和磁盘做交换。第四列则是I/O信息，显示了块服务接收和发送的块数据信息。
最后两列显示了系统和CPU相关的信息。系统列显示的是冲突的数量和每秒钟的交换。CPU列是显示了特别有用的信息。每个分列显示了一个CPU时间的百分比。这些分列如下：
US：运行用户任务和代码耗费的时间
SY:运行内核或者系统代码耗费的时间
ID:空闲时间
WA:等待IO耗费的时间
ST:虚拟机占用的时间
VMSTAT命令擅长用来查询CPU使用情况，虽然记住每个参数主要取决于持续的监控，因为对CPU进行短时间的观察你可能无法获知CPU真正的问题所在。你需要查看长期的运行趋势来获得一个确切的CPU性能信息。
三、iostat
我们接下来要讲的命令是IOSTAT。IOSTAT命令(在UBUNTU、红帽和FEDORA系统中都是由SYSSTAT软件包提供的)可以提供三个报告：CPU使用率、设备使用率和网络文件系统使用率。如果你不加任何参数地运行该命令，它会显示所有这三个报告，你可以通过加参数-c、-d和-h来单独显示它们中的一种。
在上面的图中你可以看到它们中的其中两个报告，第一个是CPU使用率，它将各进程占用的CPU用百分比分类列出来了。你能看到用户进程、系统进程、iowait和空闲时间等信息。
第二个报告是关于设备使用率，显示了安装在该主机上的每个设备和一些有用的信息，诸如每秒传输量、数据块读写，并且允许你对有性能问题的设备做标记。你可以通过添加-k或者-m参数来按照千字节或者兆字节显示统计信息，而不是以数据块为单位，这样在某些情况下会更便于查阅和理解。
最后一个报告，没有截图，显示的信息和上面介绍的设备使用率有点相似，只是对象从附件的设备换成了挂载的网络文件系统。
四、free
下一个命令free，可以显示主内存和交换内存的统计量。
你可以通过添加-t参数来显示总的内存，或者通过添加-b参数和-m参数来用字节数显示(默认情况是用千字节为单位)。
FREE命令还可以通过使用-s参数来使其以某个间隔时间持续刷新地运行：
$ free -s 5
这个命令是以每隔5秒钟刷新一次的方式运行FREE命令并输出结果。
五、sar
象我们见过的许多其它工具一样，我们可以用sar命令来收集、查看和记录服务器的性能数据。它比我们见过的任何类似工具都更强大，并且可以收集和显示长时间段的数据。在红帽和UBUNTU上，它通过SYSSTAT包来安装。让我们从不添加任何参数运行SAR命令开始吧：
从这里我们可以看到sar命令的基本输出信息，包括CPU统计(每隔10分钟一次的数据和最后的平均数据)。该信息是从一个以24小时为单位不停收集信息的日统计文件中抓取出来的(这个文件存储在目录/var/log/sa/中，并且被命令为saxx这样的格式，xx代表该数据收集的日期)。另外它还收集关于内存、设备、网络等的统计信息(例如，通过加-b参数可以查看块设备统计信息，-n采查看网络数据，-r参数看内存使用)。你还可以用-A参数来查看所有收集的数据。
你还可以长时间运行sar命令然后将输出数据导入一个文件中来收集数据。要达到这个效果，需要使用参数-o和一个文件名称，要运行该命令的时间间隔(记得收集数据会导致性能变差，所以最好确保这个间隔不要太短)和循环的次数-你要记录的间隔次数。如果你不输入循环次数，则sar命令会一直运行下去，例如：
$ sar -A -o /var/log/sar/sarlog 600 /dev/null 21
这里我们将收集所有数据(-A),记录到文件/var/log/sar/sarlog中，每隔600秒(或者5分钟)收集一次，持续在后台运行。如果接下来我们想要显示这个数据我们可以用sar命令加上-f参数，例如：
$ sar -A -f /var/log/sar/sarlog
这是一个非常基本的sar命令介绍。用sar命令还可以得到许多很有用的数据，这能使得查看主机性能变得更加方便和有效。我建议你去查看一下sar命令的说明文档从而获得更详细的方法来获得你需要的数据。
总结：
我们看到了5个基本的用在linux主机上管理和查看性能状态的命令工具。
除此之外，去看一下其它一些工具如munin和collected等也是非常值得的，它们不仅收集关于性能的数据，还能查看应用程序和服务等，包括使用你自己的插件等。
这些工具都支持增加图形化的输入，这样可以让你用图形更直观的查看你的数据。
1查看系统负载
（1）uptime
这个命令可以快速查看机器的负载情况。
在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程（进程状态为D）的数量。
命令的输出，load average表示1分钟、5分钟、15分钟的平均负载情况。
通过这三个数据，可以了解服务器负载是在趋于紧张还是趋于缓解。
如果1分钟平均负载很高，而15分钟平均负载很低，说明服务器正在命令高负载情况，需要进一步排查CPU资源都消耗在了哪里。
反之，如果15分钟平均负载很高，1分钟平均负载较低，则有可能是CPU资源紧张时刻已经过去。
(2)W
Show who is logged on and what they are doing
可查询登录当前系统的用户信息，以及这些用户目前正在做什么操作
其中的load average后面的三个数字则显示了系统最近1分钟、5分钟、15分钟的系统平均负载情况
注意：
load average这个输出值，这三个值的大小一般不能大于系统逻辑CPU的个数。
如果输出中系统有4个逻辑CPU，如果load average的三个值长期大于4时，说明CPU很繁忙，负载很高，可能会影响系统性能，
但是偶尔大于4时，倒不用担心，一般不会影响系统性能。相反，如果load average的输出值小于CPU的个数，则表示CPU还有空闲
2dmesg | tail
该命令会输出系统日志的最后10行。
这些日志可以帮助排查性能问题
3vmstat
vmstat Virtual Meomory Statistics（虚拟内存统计），用来获得有关进程、虚存、页面交换空间及 CPU活动的信息。这些信息反映了系统的负载情况。
后面跟的参数1，表示每秒输出一次统计信息，表头提示了每一列的含义
（1）监控进程procs：
r：等待在CPU资源的进程数。
这个数据比平均负载更加能够体现CPU负载情况，数据中不包含等待IO的进程。如果这个数值大于机器CPU核数，那么机器的CPU资源已经饱和（出现了CPU瓶颈）。
b：在等待io的进程数 。
（2）监控内存memoy：
swpd：现时可用的交换内存（单位KB）
free：系统可用内存数（以千字节为单位）
buff: 缓冲去中的内存数（单位：KB）。
cache：被用来做为高速缓存的内存数（单位：KB）。
（3）监控swap交换页面
si: 从磁盘交换到内存的交换页数量，单位：KB/秒。
so: 从内存交换到磁盘的交换页数量，单位：KB/秒。
如果这个数据不为0，说明系统已经在使用交换区（swap），机器物理内存已经不足。
（4）监控 io块设备
bi: 发送到块设备的块数，单位：块/秒。
bo: 从块设备接收到的块数，单位：块/秒。
（5）监控system系统
in: 每秒的中断数，包括时钟中断。
cs: 每秒的环境（上下文）转换次数。
（6）监控cpu中央处理器：
us：用户进程使用的时间 。以百分比表示。
sy：系统进程使用的时间。 以百分比表示。
id：中央处理器的空闲时间 。以百分比表示。
us, sy, id, wa, st：这些都代表了CPU时间的消耗，它们分别表示用户时间（user）、系统（内核）时间（sys）、空闲时间（idle）、IO等待时间（wait）和被偷走的时间（stolen，一般被其他虚拟机消耗）。
这些CPU时间，可以让我们很快了解CPU是否出于繁忙状态。
注：
如果IO等待时间很长，那么系统的瓶颈可能在磁盘IO。
如果用户时间和系统时间相加非常大，CPU出于忙于执行指令。
如果有大量CPU时间消耗在用户态，也就是用户应用程序消耗了CPU时间。这不一定是性能问题，需要结合r队列，一起分析。
4mpstat -P ALL 1
该命令可以显示每个CPU的占用情况，如果有一个CPU占用率特别高，那么有可能是一个单线程应用程序引起的。
MultiProcessor Statistics的缩写，是实时系统监控工具
其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中。在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。
格式：mpstat [-P {|ALL}] [internal [count]]
-P {|ALL} 表示监控哪个CPU， cpu在[0,cpu个数-1]中取值
internal 相邻的两次采样的间隔时间
count 采样的次数，count只能和delay一起使用
all ： 指所有CPU
%usr ： 显示在用户级别（例如应用程序）执行时CPU利用率的百分比
%nice ：显示在拥有nice优先级的用户级别执行时CPU利用率的百分比
%sys ： 现实在系统级别（例如内核）执行时CPU利用率的百分比
%iowait ： 显示在系统有未完成的磁盘I/O请求期间CPU空闲时间的百分比
%irq ： 显示CPU服务硬件中断所花费时间的百分比
%soft ： 显示CPU服务软件中断所花费时间的百分比
%steal ： 显示虚拟机管理器在服务另一个虚拟处理器时虚拟CPU处在非自愿等待下花费时间的百分比
%guest ： 显示运行虚拟处理器时CPU花费时间的百分比
%idle ： 显示CPU空闲和系统没有未完成的磁盘I/O请求情况下的时间百分比
系统有两个CPU。如果使用参数 -P 然后紧跟CPU编号得到指定CPU的利用率。
（ Ubuntu安装： apt-get install sysstat）
5pidstat 1
pidstat命令输出进程的CPU占用率，该命令会持续输出，并且不会覆盖之前的数据，可以方便观察系统动态
6iostat -xz 1
iostat命令主要用于查看机器磁盘IO情况
r/s, w/s, rkB/s, wkB/s：分别表示每秒读写次数和每秒读写数据量（千字节）。读写量过大，可能会引起性能问题。
await：IO操作的平均等待时间，单位是毫秒。这是应用程序在和磁盘交互时，需要消耗的时间，包括IO等待和实际操作的耗时。如果这个数值过大，可能是硬件设备遇到了瓶颈或者出现故障。
avgqu-sz：向设备发出的请求平均数量。如果这个数值大于1，可能是硬件设备已经饱和（部分前端硬件设备支持并行写入）。
%util：设备利用率。这个数值表示设备的繁忙程度，经验值是如果超过60，可能会影响IO性能（可以参照IO操作平均等待时间）。如果到达100%，说明硬件设备已经饱和。
注：如果显示的是逻辑设备的数据，那么设备利用率不代表后端实际的硬件设备已经饱和。值得注意的是，即使IO性能不理想，也不一定意味这应用程序性能会不好，可以利用诸如预读取、写缓存等策略提升应用性能
7free -m
free命令可以查看系统内存的使用情况，-m参数表示按照兆字节展示。
最后两列分别表示用于IO缓存的内存数，和用于文件系统页缓存的内存数。
注：
第二行-/+ buffers/cache，看上去缓存占用了大量内存空间。这是Linux系统的内存使用策略，尽可能的利用内存，如果应用程序需要内存，这部分内存会立即被回收并分配给应用程序。
如果可用内存非常少，系统可能会动用交换区（如果配置了的话），这样会增加IO开销（可以在iostat命令中提现），降低系统性能。
8sar -n DEV 1
sar命令在这里可以查看网络设备的吞吐率。
在排查性能问题时，可以通过网络设备的吞吐量，判断网络设备是否已经饱和。
9sar -n TCP,ETCP 1
sar命令在这里用于查看TCP连接状态，其中包括：
active/s：每秒本地发起的TCP连接数，既通过connect调用创建的TCP连接；
passive/s：每秒远程发起的TCP连接数，即通过accept调用创建的TCP连接；
retrans/s：每秒TCP重传数量；
TCP连接数可以用来判断性能问题是否由于建立了过多的连接，进一步可以判断是主动发起的连接，还是被动接受的连接。TCP重传可能是因为网络环境恶劣，或者服务器压力过大导致丢包。
10top
top命令包含了前面好几个命令的检查的内容。比如系统负载情况（uptime）、系统内存使用情况（free）、系统CPU使用情况（vmstat）等。
因此通过这个命令，可以相对全面的查看系统负载的来源。同时，top命令支持排序，可以按照不同的列排序，方便查找出诸如内存占用最多的进程、CPU占用率最高的进程等。
但是，top命令相对于前面一些命令，输出是一个瞬间值，如果不持续盯着，可能会错过一些线索。这时可能需要暂停top命令刷新，来记录和比对数据。
0条评论