环境：

• CentOS7.x84_64

参考:

• strace命令: http://man.linuxde.net/strace
• pstack命令: http://man.linuxde.net/pstack
• lsof命令: http://man.linuxde.net/lsof
• 系统调用: https://zh.wikipedia.org/wiki/%E7%B3%BB%E7%BB%9F%E8%B0%83%E7%94%A8
• Linux系统调用列表: https://www.ibm.com/developerworks/cn/linux/kernel/syscall/part1/appendix.html#8
• 高CPU分析: http://blog.51cto.com/yaocoder/1543352

系统调用

系统调用(system call)，指运行在用户态的程序向操作系统内核请求需要更高权限运行的服务。系统调用提供用户程序与操作系统之间的接口。 操作系统的进程空间可分为用户态和内核态，它们需要不同的执行权限。其中系统调用运行在内核态。

大多数系统交互式操作需求在内核态运行。如设备I/O或进程间通信。

• 内核态(kernel space) 内核、核心扩充、驱动程序运行在内核空间上。

• 用户态(user space) 其它的应用程序，则运行在用户空间上。 所有运行在用户空间的应用程序，都被统称为用户级(userland)。

• 库函数 系统调用和普通库函数调用非常相似，只是系统调用由操作系统内核提供，运行于内核核心态；而普通的库函数调用由函数库或用户自己提供，运行于用户态。

系统调用的意义

内核提供用户空间程序与内核空间进行交互的一套标准接口，这些接口让用户态程序能受限访问硬件设备，比如申请系统资源，操作设备读写，创建新进程等。用户空间发生请求，内核空间负责执行，这些接口便是用户空间和内核空间共同识别的桥梁，这里提到两个字“受限”，是由于为了保证内核稳定性，而不能让用户空间程序随意更改系统，必须是内核对外开放的且满足权限的程序才能调用相应接口。

在用户空间和内核空间之间，有一个叫做Syscall(系统调用, system call)的中间层，是连接用户态和内核态的桥梁。这样即提高了内核的安全型，也便于移植，只需实现同一套接口即可。Linux系统，用户空间通过向内核空间发出Syscall，产生软中断，从而让程序陷入内核态，执行相应的操作。对于每个系统调用都会有一个对应的系统调用号，比很多操作系统要少很多。

安全性与稳定性：内核驻留在受保护的地址空间，用户空间程序无法直接执行内核代码，也无法访问内核数据，通过系统调用

性能：Linux上下文切换时间很短，以及系统调用处理过程非常精简，内核优化得好，所以性能上往往比很多其他操作系统执行要好。

Linux系统调用方法

• futex Futex 是fast userspace mutex的缩写，意思是快速用户空间互斥体。Linux内核把它们作为快速的用户空间的锁和信号量的预制构件提供给开发者。

• select select系统调用允许程序同时在多个底层文件表述符上，等待输入的到达或输出的完成。

进程控制

文件系统控制：

• 文件读写操作

• 文件系统操作

系统控制：

内存管理：

网络管理：

socket控制：

用户管理：

进程间通信：

• ipc, 进程间通信总控制调用

• 信号

• 消息

• 管道

  • pipe, 创建管道

• 信号量

• 共享内存

strace命令

strace命令是一个集诊断、调试、统计与一体的工具，我们可以使用strace对应用的系统调用和信号传递的跟踪结果来对应用进行分析，以达到解决问题或者是了解应用工作过程的目的。当然strace与专业的调试工具比如说gdb之类的是没法相比的，因为它不是一个专业的调试器。

strace的最简单的用法就是执行一个指定的命令，在指定的命令结束之后它也就退出了。在命令执行的过程中，strace会记录和解析命令进程的所有系统调用以及这个进程所接收到的所有的信号值。

strace可跟踪一个命令或进程。

1
2
3

strace - trace system calls and signals

strace --help

问题案例

当发现进程或服务异常时，我们可以通过strace来跟踪其系统调用，“看看它在干啥”，进而找到异常的原因。熟悉常用系统调用，能够更好地理解和使用strace。 当然，万能的strace也不是真正的万能。当目标进程卡死在用户态时，strace就没有输出了。

• 定位进程异常退出
• 定位共享内存异常
• 性能分析

pstack命令

pstack命令可显示每个进程(线程)的栈跟踪。

1
2
3

yum install -y gdb

pstack $PID

lsof命令

lsof命令用于查看你进程开打的文件，打开文件的进程，进程打开的端口(TCP、UDP)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

-a：列出打开文件存在的进程
-c<进程名>：列出指定进程所打开的文件
-g：列出GID号进程详情
-d<文件号>：列出占用该文件号的进程
+d<目录>：列出目录下被打开的文件
+D<目录>：递归列出目录下被打开的文件
-n<目录>：列出使用NFS的文件
-i<条件>：列出符合条件的进程（4、6、协议、:端口、 @ip ）
-p<进程号>：列出指定进程号所打开的文件
-u：列出UID号进程详情
-h：显示帮助信息
-v：显示版本信息

高CPU占用分析

步骤：

• 查看进程 top
• 查看线程 top -H -p $pid
• 查看进程打开连接数 lsof -p ${pid}
• 追踪 strace -T -r -c -p $pid
• 栈 pstack $pid