LINUX系统故障诊断与排除

LINUX系统故障诊断与排除:30:00图书导读·3.1top·3.2sar·3.4iostat·3.5free本章解释如何使用适用于Linux的大量性能工具及每个工具中信息的意义。即使已经使用top或者sar，也可能从本章学到相关知识。应该养成使用这些工具的习惯。当然要知道如何诊断性能问题，但也应该定期寻找可能指示问题的关键指标的变化。可以使用这些工具衡量新应用程序对性能的影响。就如同查看车内的温度表一样，要注意Linux系统的性能指标。本章介绍的工具有：·top·sar·vmstat·iostat·free可以作为普通用户运行这些工具。它们都利用/proc文件系统得到它们的数据。这些性能工具和几个rpm一起提供。procpsrpm提供top、free和vmstat。sysstatrpm提供sar和iostat。top命令是一个优秀的交互式实用工具，用于监视性能。它提供关于整体Linux性能的几个概要行，但是报告进程信息才是top真正的长处。可以广泛自定义进程显示，也可以添加字段，按照不同指标排序进程列表，甚至从top注销进程。sar实用工具提供监视每一事件的能力。它至少有15个单独的报告类别，包括CPU、磁盘、网络、进程、交换区等等。vmstat命令报告关于内存和交换区使用的广泛信息。它也报告CPU和一些I/O信息。iostat报告存储输入/输出（I/O）统计资料。这些命令覆盖许多相同的地方。本节讨论如何使用这些命令并解释每个命令产生的报告，并不讨论所有15种sar语法，但是介绍了其中最常见的。3.1toptop命令是最流行的性能工具之一。大多数系统管理员运行top查看Linux和UNIX系统的运行情况。top实用工具提供一种监视进程和Linux整体性能的理想方法。将Linux进程称作任务更准确，但是在本章中我们还是将它们称作进程，因为这个工具也这样称呼它们。1普通用户和root用户都可以运行top。图3-1显示一个空闲系统的典型top输出。图3-1top输出top显示有两个部分。大约前三分之一显示关于Linux的整体信息，其余行为各个进程信息。如果扩展窗口则显示更多进程而填充整个屏幕。更全面的Linux信息可以通过使用top之外的几个命令来得到。不过，通过一个命令在一个屏幕上显示所有信息比较理想。第一行显示最近1分钟、5分钟和15分钟的负载平均值。负载平均值表示在CPU上运行或者等待运行多少进程。uptime命令也可以用来显示负载平均值。接下来是进程信息，之后是CPU、内存和交换区。内存和交换区信息与free命令输出类似。在我们确定内存和CPU使用之后的下一个问题是哪些进程正在使用它。大部分进程信息也可以通过ps命令得到，但是top提供一种更易于阅读的格式。最有用的是用于提供帮助的h，它列出top的其他交互式命令。3.1.1添加和移除字段字段可以从显示中添加或移除。进程输出可以按照CPU、内存或者其他指标排序。这是一个查看什么进程抢夺内存的理想方法。各个Linux发布版本的top语法和交互式选项不同，帮助命令可以快速列出什么命令可用。有许多交互式选项可用，用户应该花费一些时间来试验它们。图3-2显示RedHatEnterpriseLinuxESrelease3的帮助屏幕。图3-2top的帮助屏幕f命令用来从top输出中添加或者移除字段。图3-3是一个RedHatEnterpriseLinuxESrelease3的帮助屏幕，显示什么字段可以添加。图3-3top添加/移除字段的屏幕图3-4显示一个SUSELinux9.0top的帮助屏幕，可见它们提供的命令差别非常大。图3-4SUSEtop的帮助屏幕3.1.2解释输出让我们研究top信息的意义，以top的如下输出为例：top输出的第一行显示负载平均值信息：这个输出与uptime的输出类似。从中可看到Linux已经运行时间、当前时间和用户数量，以及1分钟、5分钟和15分钟负载平均值。接下来显示进程概要：我们看到总共有73个进程，其中72个进程正在休眠，一个进程正在运行，没有僵化进程或者被停止的进程。当一个进程退出并且它的父进程没有通过wait（2）或者waitpid（2）函数等待它时，它就会成为僵化进程。这通常是由于父进程在它的子进程之前退出造成的。不同于进程表中的项，僵化进程不使用资源。停止的进程是已经向它发送STOP信号的进程。更多信息，请参见signal（7）手册页。接下来是CPU信息：CPU行描述CPU如何使用它们的CPU周期。top命令报告CPU在用户或者内核模式、运行良好进程以及处在空闲状态时所花费时间的百分比。iowait列显示没有进程在CPU上运行时，处理器等待I/O完成的时间的百分比。irq和softirq列表示处理硬件和软件中断所花费的时间。早于2.6版本的Linux内核不报告irq、softirq和iowait。接下来是内存信息：前三个指标提供内存使用的概要，列出了总的可用内存、已使用内存和自由内存，它们都是确定对于Linux内存是否足够所需信息。接下来五个指标标识已使用的内存如何分配。shrd字段显示共享的内存使用，buff是缓冲使用的内存。分配给内核或者用户进程的内存可以处在三种不同状态：活动（active）、不活动脏（inactivedirty）和不活动干净（inactiveclean）。活动在top中用aotv表示，表示该内存最近被使用。不活动脏在top中用in_d表示，表示该内存最近没有使用，可以回收。要回收内存，必须将它的内容写到磁盘，这个进程命名为“清洗”，也可称作内存的第四种临时状态。一旦被清洗，不活动脏内存成为不活动干净内存，在top中用in_c表示。由NormMurray和NeilHorman合著的UnderstandingVirtualMemoryinRedHatEnterpriseLinux3是一本优秀的参考书，网址为http:people.redhat.com/nhorman/papers/rhel3_vm.pdf。接下来是交换区信息：av字段是可用的交换区总量，之后是已用数量和自由数量，最后是内核用于缓存的内存数量。top显示的其余部分是进程信息：top显示尽可能多的能适合屏幕的进程。top（1）手册页中提供了字段说明的描述。表3-1提供了这些字段的概要。表3-1top进程字段字段说明PID进程id编号USER进程所有者的用户名PRI进程的优先级SIZE进程大小，包括它的代码、栈和数据区域，以千字节为单位RSS进程使用的内存总量，以千字节为单位SHARE进程使用的共享内存数量STAT进程的状态，通常R表示运行，S表示休眠%CPU自从最近的屏幕更新以来，这个进程使用的CPU百分比%MEM这个进程使用的内存百分比TIME自从进程启动以来，这个进程使用的CPU时间量CPU最近执行进程的CPUCOMMAND正在执行的命令3.1.3保存自定义一个非常好的top功能是保存当前配置。可以使用交互式命令s任意更改显示，然后按w保存该视图。top在用户的主目录中写入一个.toprc文件，用来保存配置，以便下一次这个用户启动top时使用相同的显示选项。top也寻找默认配置文件/etc/toprc。这是一个全局配置文件，当任何用户运行实用工具时，top将读取该文件。这个文件可以使top以安全模式运行，也可以设置刷新延迟。安全模式阻止非root用户注销或者更改进程的正常值，也阻止非root用户更改top的刷新值。RedHatEnterpriseLinuxESrelease3的一个/etc/toprc示例文件如下所示：s表示安全模式，3定义三秒钟刷新间隔。其他发布版本可能有不同的/etc/toprc格式。注销进程是一个非常实用的功能。如果用户有一个失控的进程，通过top命令可以轻易找到并注销它，具体步骤为：运行top，通过u命令显示用户的所有进程，然后使用k注销它。top不只是一个优秀的性能监视工具，它也可以用来通过注销那些产生问题的进程从而改进性能。3.1.4批处理模式top也可以以批处理模式运行。尝试运行以下命令：-n1告诉top只显示一次迭代，-b选项表示以适合写入文件的文本形式输出或者定向到另一个程序（例如less）。类似以下两行脚本的命令可以顺利完成cron工作：可以将它添加到crontab，并每隔15分钟收集一次输出。通过批处理可以轻松完成所有任务，无需用户的干涉。所有进程都被列出，输出并不是每5秒钟刷新一次。如果用户的主目录中存在一个.toprc配置文件，那么它用来格式化显示。以下是在一个多CPULinux服务器上运行top批处理模式的输出。注意，其中没有显示top输出的所有258个进程。现在读者可能明白了为什么top会如此流行。top的交互式本质和容易自定义输出的能力使它成为诊断问题的优秀工具。3.2sarsar是一个优秀的一般性能监视工具，它可以输出Linux所完成的几乎所有工作的数据。sar命令在sysetatrpm中提供。示例中使用sysstat版本5.0.5，这是稳定的最新版本之一。关于版本和下载信息，请访问sysstat主页。sar可以显示CPU、运行队列、磁盘I/O、分页（交换区）、内存、CPU中断、网络等性能数据。最重要的sar功能是创建数据文件。每一个Linux系统都应该通过cron工作收集sar数据。该sar数据文件为系统管理员提供历史性能信息。这个功能非常重要，它将sar和其他性能工具区分开。如果一个夜晚批处理工作正常运行两次，直到下一个早上才会发现这种情况（除非被叫醒）。我们需要具备研究12小时以前的性能数据的能力。sar数据收集器提供了这种能力。有许多报告语法，我们首先讨论数据收集。3.2.1sar数据收集器sar数据收集通过/usr/lib/sa中的一个二进制可执行文件和两个脚本来完成。sar数据收集器是一个位于/usr/lib/sa/sadc的二进制可执行文件。sadc的工作是写入数据收集文件/var/1og/sa/。可以为sadc提供几个选项。常见语法是：间隔是取样间的秒数，iterations是要取得的样本数量，filename定义输出文件。简单的sadc语法是/usr/lib/sa/sadc3605/tmp/sadc.out。这个命令在5分钟间隔取得5个样本并将它们保存在/tmp/sadc.out。我们应该定期收集样本，因此需要一个由cron运行的脚本。应该把样本放在一个有意义的地方，如在前一节中使用top脚本时那样。sysstatrpm提供/usr/lib/sa/sa1脚本来完成所有这些事情。sa1（8）手册页比sa1脚本本身要长得多。/usr/lib/sa/sa1是一个非常简单的脚本，使用语法sadc-F-L11/var/log/sa/sa##来运行sadc，其中##是某月的日期。较老版本的sa1使用date+.%Y_%m_%d的输出作为文件后缀。如果需要，可以使用-F选项使sadc强制创建输出文件。-L在写入输出文件之前锁定它，以防止两个sadc进程同时运行时损坏该文件。较老版本的sadc没有-L选项，因此sa1脚本执行手工锁定。sa1脚本的选项只是样本之间的间隔和取样迭代的次量。cron文件（/etc/cron.d/sysstat）和sysstat一起提供，在各sysstat版本之间它有所不同。以下是5.0.5版本的sysstat的条目：可见，在sysstatrpm安装之后，sadc开始取得样本。sysstat主页是。文档链接提供以下类似2006年1月14日的crontab方案：SebastienGodard的网站的crontab示例建议周一至周五从早晨8点到下午6点每10分钟取一次样本，其他时间每小时取得一个样本（注意，crontab注释为下午7点，但