出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知识，文档中的工具，是不可能完全掌握的，另外对系统性能分析和优化是一个长期的系列。
性能分析工具
首先来看一张图：
上图是Brendan Gregg 的一次性能分析的分享，
这里面的所有工具都可以通过 man 来获得它的帮助文档，下面简单介绍介绍一下常规的用法：
vmstat--虚拟内存统计
vmstat（VirtualMeomoryStatistics，虚拟内存统计）是 Linux 中监控内存的常用工具,可对操作系统的虚拟内存、进程、CPU 等的整体情况进行监视。vmstat 的常规用法：vmstat interval times 即每隔 interval 秒采样一次，共采样 times 次，如果省略 times，则一直采集数据，直到用户手动停止为止。简单举个例子：
可以使用 ctrl+c 停止 vmstat 采集数据。
第一行显示了系统自启动以来的平均值，第二行开始显示现在正在发生的情况，接下来的行会显示每5秒间隔发生了什么，每一列的含义在头部，如下所示：
- procs：r 这一列显示了多少进程在等待cpu，b列显示多少进程正在不可中断的休眠（等待IO）。
- memory：swapd 列显示了多少块被换出了磁盘（页面交换），剩下的列显示了多少块是空闲的（未被使用），多少块正在被用作缓冲区，以及多少正在被用作操作系统的缓存。
- swap：显示交换活动：每秒有多少块正在被换入（从磁盘）和换出（到磁盘）。
- io：显示了多少块从块设备读取（bi）和写出（bo）,通常反映了硬盘I/O。
- system：显示每秒中断(in)和上下文切换（cs）的数量。
- cpu：显示所有的cpu时间花费在各类操作的百分比，包括执行用户代码（非内核），执行系统代码（内核），空闲以及等待IO。
内存不足的表现：free memory 急剧减少，回收 buffer 和 cache 也无济于事，大量使用交换分区（swpd）,页面交换（swap）频繁，读写磁盘数量（io）增多，缺页中断（in）增多，上下文切换（cs）次数增多，等待IO的进程数（b）增多，大量CPU时间用于等待IO（wa）
iostat--用于报告中央处理器统计信息
iostat 用于报告中央处理器（CPU）统计信息和整个系统、适配器、tty 设备、磁盘和 CD-ROM 的输入/输出统计信息，默认显示了与 vmstat 相同的 cpu 使用信息，使用以下命令显示扩展的设备统计：
第一行显示的是自系统启动以来的平均值，然后显示增量的平均值，每个设备一行。
常见 linux 的磁盘 IO 指标的缩写习惯：rq 是 request，r 是 read，w 是 write，qu 是 queue，sz 是 size，a 是verage，tm 是 time，svc 是 service。
- rrqm/s 和 wrqm/s：每秒合并的读和写请求，“合并的”意味着操作系统从队列中拿出多个逻辑请求合并为一个请求到实际磁盘。
- r/s和w/s：每秒发送到设备的读和写请求数。
- rsec/s和wsec/s：每秒读和写的扇区数。
- avgrq –sz：请求的扇区数。
- avgqu –sz：在设备队列中等待的请求数。
- await：每个IO请求花费的时间。
- svctm：实际请求（服务）时间。
- %util：至少有一个活跃请求所占时间的百分比。
1.1
iostat命令安装
yum install -y iotop1.2常用选项
-o：只显示有io操作的进程 -b：批量显示，无交互，主要用作记录到文件。 -n NUM：显示NUM次，主要用于非交互式模式。 -d SEC：间隔SEC秒显示一次。 -p PID：监控的进程pid。 -u USER：监控的进程用户。
1.3常用参数 参数 描述 -o 只显示正在产生I/O的进程或线程，运行过程中，可以通过按o随时切换 -b 非交互式下运行，一般用来记录日志 -n NUM 设置监控（显示）次数，主要用于非交互式，默认无限 -d SEC 设置显示的间隔秒数，支持非整数 -p PID 只显示指定进程（PID）的信息 -u USER 显示指定用户的进程信息 -P 只显示进程，不显示所有线程 -a 累积的I/O，显示从iotop启动后每个进程累积的I/O总数，便于诊断问题 -k 显示使用KB单位 -t 非交互模式下，加上时间戳 -q 只在第一次监测时显示列名. 去除头部一些行：这个参数可以设置最多3次来移除头部行：-q列头部只在最初交互显示一次；-qq列头部不显示；-qqq，I/O的总结不显示 二.I/O常用快捷键
左右箭头：改变排序方式，默认是按IO排序。
r：改变排序顺序。
o：只显示有IO输出的进程。
p：进程/线程的显示方式的切换。
a：显示累积使用量。
q：退出。1.排序字段:使用键盘左右箭头控制排序的字段(排序字段右侧有">"或"<"，例如: IO>)\ 2.排序方式:"r"键可以控制升序还是降序排列(">"表示降序,"<"表示升序); 3.仅显示有IO发生的进程:"o"控制是否仅显示发生IO的进程; 4.进程/线程:"p"键控制线程号/进程号的(PID/TID) 5.累积流量:"a"键控制是否显示累积IO量，更加利于查看问题 6.强制刷新:"q"键退出，除了这些键之外的任意键都会强制刷新。
三.iotop示例
1、只显示正在产生I/O的进程 iotop -o 在这里插入图片描述 2、显示指定PID -b是非交互式，-n 2指监控2次，-d 5 表示5秒刷新一次，-p是只显示进程 在这里插入图片描述 3、显示指定用户 -b是非交互式，-n 2指监控2次，-d 5 表示5秒刷新一次，-u是指定用户 在这里插入图片描述 4、打印指定PID的时间戳 -t表示打印时间戳，-k是单位为KB
dstat--系统监控工具
dstat 显示了 cpu 使用情况，磁盘 io 情况，网络发包情况和换页情况，输出是彩色的，可读性较强，相对于 vmstat 和iostat 的输入更加详细且较为直观。在使用时，直接输入命令即可，当然也可以使用特定参数。
如下：dstat –cdlmnpsy
1.3常用参数
参数 描述
-o 只显示正在产生I/O的进程或线程，运行过程中，可以通过按o随时切换
-b 非交互式下运行，一般用来记录日志
-n NUM 设置监控（显示）次数，主要用于非交互式，默认无限
-d SEC 设置显示的间隔秒数，支持非整数
-p PID 只显示指定进程（PID）的信息
-u USER 显示指定用户的进程信息
-P 只显示进程，不显示所有线程
-a 累积的I/O，显示从iotop启动后每个进程累积的I/O总数，便于诊断问题
-k 显示使用KB单位
-t 非交互模式下，加上时间戳
-q 只在第一次监测时显示列名. 去除头部一些行：这个参数可以设置最多3次来移除头部行：-q列头部只在最初交互显示一次；-qq列头部不显示；-qqq，I/O的总结不显示iotop--LINUX进程实时监控工具
iotop命令是专门显示硬盘IO的命令，界面风格类似top命令，可以显示IO负载具体是由哪个进程产生的。是一个用来监视磁盘I/O使用状况的top类工具，具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息。
可以以非交互的方式使用：
iotop –bod interval查看每个进程的 I/O，可以使用
pidstat，pidstat –d instatpidstat--监控系统资源情况
pidstat 主要用于监控全部或指定进程占用系统资源的情况,如 CPU,内存、设备 IO、任务切换、线程等。
使用方法：
apt install sysstat
yum install sysstat
pidstat –d intervalpidstat 还可以用以统计CPU使用信息：
pidstat –u interval统计内存信息：
pidstat –r interval事例
实例一
查看所有进程的 CPU 使用情况
pidstat
pidstat -u -p ALL
示例二: cpu使用情况统计(-u)
pidstat -u
使用-u选项，pidstat将显示各活动进程的cpu使用统计，执行”pidstat -u”与单独执行”pidstat”的效果一样。
‘
示例三： 内存使用情况统计(-r)
pidstat -r
PID：进程标识符
Minflt/s:任务每秒发生的次要错误，不需要从磁盘中加载页
Majflt/s:任务每秒发生的主要错误，需要从磁盘中加载页
VSZ：虚拟地址大小，虚拟内存的使用KB
RSS：常驻集合大小，非交换区五里内存使用KB
Command：task命令名
示例四：显示各个进程的IO使用情况（-d）
pidstat -d
top
- top 命令的汇总区域显示了五个方面的系统性能信息：
- 负载：时间，登陆用户数，系统平均负载；
- 进程：运行，睡眠，停止，僵尸；
- cpu:用户态，核心态，NICE,空闲，等待IO,中断等；
- 内存：总量，已用，空闲（系统角度），缓冲，缓存；
- 交换分区：总量，已用，空闲
任务区域默认显示：进程 ID，有效用户，进程优先级，NICE 值，进程使用的虚拟内存，物理内存和共享内存，进程状态，CPU 占用率，内存占用率，累计 CPU 时间，进程命令行信息。
htop
htop 是 Linux 系统中的一个互动的进程查看器,一个文本模式的应用程序(在控制台或者X终端中),需要 ncurses。
Htop 可让用户交互式操作，支持颜色主题，可横向或纵向滚动浏览进程列表，并支持鼠标操作。
与 top 相比，htop 有以下优点：
- 可以横向或者纵向滚动浏览进程列表，以便看到所有的进程和完整的命令行。
- 在启动上，比top更快。
- 杀进程时不需要输入进程号。
- htop支持鼠标操作。
mpstat
mpstat 是 Multiprocessor Statistics的缩写，是实时系统监控工具。其报告CPU的一些统计信息，这些信息存放在 /proc/stat 文件中。在多 CPUs 系统里，其不但能查看所有 CPU 的平均状况信息，而且能够查看特定 CPU 的信息。常见用法：
yum install sysstat -ympstat –P ALL interval times压力测试
压力测试的方法有很多，这里通过stress工具来进行对CPU、内存、IO以及磁盘的压力测试（可以指定CPU的个数） 1、下载工具包
yum install -y epel-release #需要先下载所需要的依赖包否则直接下载stress软件包工具不成功
yum install -y stress2、参数 参数 详解 -c --cpu 产生n个进程，每个进程都反复不停的计算随机数的平方根 -i --io 产生n个进程，每个进程反复调用 将内存上的内容写到硬盘上 -m -vm 产生n个进程，每个进程不断分配和释放内存 -t --timout 在n秒后结束进程 -d --hdd 产生n个不断执行 write 和unlink函数的进程（创建文件、写入内容、删除文件） 四、查看统计信息
pidstat 是一个常用的进程性能分析工具，可以用pidstat来实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标。 参数 参数 详解 -u 默认的参数，显示各个进程的CPU使用统计 -r 显示各个进程的内存使用统计 -d 显示各个进程的IO使用情况 -p 指定进程号 -w 显示每个进程的上下文切换情况 -t 显示选择任务的线程的统计信息外的额外信息 -V 版本号 -h 在一行上显示了所有活动，这样其他程序可以容易解析 -I（大写） 在SMP环境，表示任务的CPU使用率/内核数量 -l 显示命令名和所有参数 五、实例操作 1、实验目的
采用stress压力测试工具，模拟CPU 负载的情况，高IO的情况，使用uptime查看平均负载，使用mpstat和pidstat工具，找出负载高的根源 2、测试CPU使用的负载状态 平均系统的负载情况
netstat
netstat 用于显示与 IP、TCP、UDP和 ICMP 协议相关的统计数据，一般用于检验本机各端口的网络连接情况。
常见用法：
netstat –npl # 可以查看你要打开的端口是否已经打开。
netstat –rn # 打印路由表信息。
netstat –in # 提供系统上的接口信息，打印每个接口的MTU,输入分组数，输入错误，输出分组数，输出错误，冲突以及当前的输出队列的长度。ps--显示当前进程的状态
ps 参数太多，具体使用方法可以参考 man ps
常用的方法：
ps aux #hsserver
ps –ef |grep #hundsun杀掉某一程序的方法：
ps aux | grep mysqld | grep –v grep | awk ‘{print $2 }’ xargs kill -9杀掉僵尸进程：
ps –eal | awk ‘{if ($2 == “Z”){print $4}}’ | xargs kill -9strace
跟踪程序执行过程中产生的系统调用及接收到的信号，帮助分析程序或命令执行中遇到的异常情况。
举例：查看 mysqld 在 linux 上加载哪种配置文件，可以通过运行下面的命令：
strace –e stat64 mysqld –print –defaults > /dev/nulluptime
能够打印系统总共运行了多长时间和系统的平均负载，uptime 命令最后输出的三个数字的含义分别是 1分钟，5分钟，15分钟内系统的平均负荷。
lsof
lsof（list open files）是一个列出当前系统打开文件的工具。通过 lsof 工具能够查看这个列表对系统检测及排错，常见的用法：
查看文件系统阻塞
lsof /boot查看端口号被哪个进程占用
lsof -i : 3306查看用户打开哪些文件
lsof –u username查看进程打开哪些文件
lsof –p 4838查看远程已打开的网络链接
lsof –i @192.168.34.128perf
perf 是 Linux kernel 自带的系统性能优化工具。优势在于与 Linux Kernel 的紧密结合，它可以最先应用到加入 Kernel 的new feature，用于查看热点函数，查看 cashe miss 的比率，从而帮助开发者来优化程序性能。
性能调优工具如 perf，Oprofile 等的基本原理都是对被监测对象进行采样，最简单的情形是根据 tick 中断进行采样，即在 tick 中断内触发采样点，在采样点里判断程序当时的上下文。
假如一个程序 90% 的时间都花费在函数 foo() 上，那么 90% 的采样点都应该落在函数 foo() 的上下文中。运气不可捉摸，但我想只要采样频率足够高，采样时间足够长，那么以上推论就比较可靠。因此，通过 tick 触发采样，我们便可以了解程序中哪些地方最耗时间，从而重点分析。
汇总
结合以上常用的性能测试命令并联系文初的性能分析工具的图，就可以初步了解到性能分析过程中哪个方面的性能使用哪方面的工具（命令）。
常用的性能测试工具
熟练并精通了第二部分的性能分析命令工具，引入几个性能测试的工具，介绍之前先简单了解几个性能测试工具：
- perf_events：一款随 Linux 内核代码一同发布和维护的性能诊断工具，由内核社区维护和发展。Perf 不仅可以用于应用程序的性能统计分析，也可以应用于内核代码的性能统计和分析。
- eBPF tools：一款使用 bcc 进行的性能追踪的工具，eBPF map可以使用定制的 eBPF 程序被广泛应用于内核调优方面，也可以读取用户级的异步代码。重要的是这个外部的数据可以在用户空间管理。这个 k-v 格式的 map 数据体是通过在用户空间调用 bpf 系统调用创建、添加、删除等操作管理的。
- perf-tools：一款基于 perf_events (perf) 和 ftrace 的Linux性能分析调优工具集。Perf-Tools 依赖库少，使用简单。支持Linux 3.2 及以上内核版本。
- bcc(BPF Compiler Collection):：一款使用 eBP F的 perf 性能分析工具。一个用于创建高效的内核跟踪和操作程序的工具包，包括几个有用的工具和示例。利用扩展的BPF（伯克利数据包过滤器），正式称为eBPF，一个新的功能，首先被添加到Linux 3.15。多用途需要Linux 4.1以上BCC。
- ktap：一种新型的linux脚本动态性能跟踪工具。允许用户跟踪Linux内核动态。ktap是设计给具有互操作性，允许用户调整操作的见解，排除故障和延长内核和应用程序。它类似于Linux和Solaris DTrace SystemTap。
- Flame Graphs：是一款使用 perf，system tap，ktap 可视化的图形软件，允许最频繁的代码路径快速准确地识别，可以是使用
github.com/brendangregg/flamegraph中的开发源代码的程序生成。
Linux observability tools |Linux 性能观测工具
- 首先学习的Basic Tool有如下：uptime、top(htop)、mpstat、isstat、vmstat、free、ping、nicstat、dstat。
- 高级的命令如下：sar、netstat、pidstat、strace、tcpdump、blktrace、iotop、slabtop、sysctl、/proc。
Linux benchmarking tools | Linux 性能测评工具
是一款性能测评工具，对于不同模块的性能测试可以使用相应的工具。
Linux tuning tools | Linux 性能调优工具
是一款性能调优工具，主要是从linux内核源码层进行的调优，想要深入了解，可以参考下文附件文档。
Linux observability sar | linux性能观测工具
sar（System Activity Reporter系统活动情况报告）是目前LINUX上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC 有关的活动等方面。sar 的常规使用方式：
sar [options] [-A] [-o file] t [n]其中：t 为采样间隔，n 为采样次数，默认值是1；-o file 表示将命令结果以二进制格式存放在文件中，file 是文件名。