《Linux 故障排查工具箱：从 strace 到火焰图》

现象（慢/卡/报错）
   ↓
宏观指标：top / vmstat / iostat / sar —— 是哪一类资源？
   ↓
定位进程：pidstat / lsof / ss —— 是哪个进程/连接？
   ↓
深入追踪：strace / perf / bpftrace —— 卡在哪一步？
   ↓
根因（配置/代码/硬件/容量）

# 一分钟体检
uptime                 # 负载
vmstat 1 5             # CPU/内存/IO 概览
iostat -xz 1 5         # 磁盘
sar -n DEV 1 5         # 网络
top -bn1 | head -20    # 进程

# 基本用法
strace ls                              # 追踪整个程序
strace -p 1234                         # 追踪运行中的进程
strace -f -p 1234                      # 追踪所有子进程/线程
strace -e trace=open,read,write ls     # 只追踪指定系统调用
strace -e trace=network -p 1234        # 只追踪网络相关
strace -T -tt -p 1234                  # 显示耗时与时间戳
strace -c ls                           # 统计各类调用次数与耗时
strace -o out.txt -p 1234              # 输出到文件
strace -s 256 -p 1234                  # 字符串最大显示长度

# 典型场景：服务卡住，看它在等什么
strace -f -T -tt -p $(pidof nginx) 2>&1 | grep -E '<[0-9.]+>' | sort -t'<' -k2 -rn | head
# 典型场景：找不到文件
strace -e trace=openat,stat -f ./app 2>&1 | grep -i 'ENOENT'
# 典型场景：库函数调用（ltrace）
ltrace -p 1234

timeout 5 strace -f -p 1234 -o /tmp/trace.txt

# 顶层视图：实时看热点函数
perf top
# 记录采样
perf record -F 99 -a -g -- sleep 30      # 全系统采样 30 秒
perf record -F 99 -p 1234 -g -- sleep 30 # 只采样某进程
# 查看报告
perf report
# 统计事件
perf stat -p 1234 sleep 5
perf stat -e cycles,instructions,cache-misses,context-switches -a sleep 5

# 关键事件：判断 CPU 瓶颈类型
perf stat -a sleep 5
# 关注：IPC（instructions per cycle）< 1 说明受限于访存/分支
# cache-misses 高 → 内存访问瓶颈
# context-switches 高 → 锁竞争或调度频繁

# 查看调度延迟（runqlat 的 perf 版）
perf sched record -- sleep 5
perf sched latency

# bpftrace：谁在打开文件
bpftrace -e 'tracepoint:syscalls:sys_enter_openat { printf("%s %s\n", comm, str(args->filename)); }'
# bpftrace：CPU 采样 + 内核栈
bpftrace -e 'profile:hz:99 { @[comm, kstack] = count(); }'
# bpftrace：统计各进程的系统调用次数
bpftrace -e 'tracepoint:syscalls:sys_enter_* { @[comm] = count(); }'
# bpftrace：追踪慢 IO
bpftrace -e 'kprobe:vfs_read { @start[tid] = nsecs; }
  kretprobe:vfs_read /@start[tid]/ {
    @us = hist((nsecs - @start[tid]) / 1000); delete(@start[tid]); }'

# sysdig：抓系统调用流
sysdig                                  # 实时流
sysdig -c topprocs_cpu                  # CPU 占用 Top
sysdig -c topfiles_bytes                # 文件读写 Top
sysdig -c topscalls_time                # 最慢的系统调用
sysdig proc.name=nginx and evt.type=open   # 过滤
sysdig -w trace.scap                    # 保存供离线分析
sysdig -r trace.scap -c topconns        # 离线：连接 Top

# 谁占用了某端口
lsof -i :8080
ss -lntp | grep :8080
# 某进程打开了哪些文件
lsof -p 1234
# 谁在使用某目录（卸载失败时）
lsof +D /mnt/data
fuser -m /mnt/data
# 谁打开了某文件
lsof /var/log/app.log
# 查看已删除但仍被占用的文件（磁盘不释放的经典原因）
lsof | grep deleted

# 经典问题：删了大文件但磁盘没释放
lsof | grep deleted
# 处理：重启持有该 fd 的进程，或
: > /proc/1234/fd/5      # 截断（谨慎）
# 经典问题：卸载失败
fuser -km /mnt/data      # 杀掉占用进程（危险）
umount /mnt/data

# 抓指定网卡、指定端口
tcpdump -i eth0 -nn port 80
# 抓指定主机
tcpdump -i any -nn host 10.0.0.5
# 抓 TCP 握手/挥手（只看标志位）
tcpdump -i eth0 -nn 'tcp[tcpflags] & (tcp-syn|tcp-fin|tcp-rst) != 0'
# 写文件供 Wireshark 分析
tcpdump -i eth0 -nn -s 0 -w /tmp/cap.pcap
# 限制数量与文件大小
tcpdump -i eth0 -c 1000 -W 5 -C 10 -w /tmp/cap.pcap
# 显示 ASCII 载荷（调试 HTTP）
tcpdump -i eth0 -nn -A port 80

# 排障：看有没有 SYN 无 ACK（服务未监听或防火墙丢包）
tcpdump -i eth0 -nn 'tcp[tcpflags] & tcp-syn != 0 and tcp[tcpflags] & tcp-ack == 0'
# 排障：看重传（网络质量差）
tcpdump -i eth0 -nn 'tcp[tcpflags] & tcp-rst != 0'
# 配合 ss 看连接状态
ss -s
ss -tan state time-wait | wc -l

# 安装与启用（sysstat）
apt install sysstat
systemctl enable --now sysstat
# CPU 历史
sar -u
# 内存历史
sar -r
# 磁盘 IO 历史
sar -b
# 网络历史
sar -n DEV
# 指定日期与时间范围
sar -u -f /var/log/sysstat/sa15 -s 09:00:00 -e 10:00:00
# 每秒采样，共 5 次（实时）
sar -u 1 5

# 关键配置：/etc/sysstat/sysstat
# HISTORY=30       保留 30 天
# COMPRESSAFTER=10 10 天后压缩
# 数据目录
ls /var/log/sysstat/
# 定时采集由 cron/systemd timer 驱动
systemctl list-timers | grep sysstat

# 1. 用 perf 采样（带调用栈）
perf record -F 99 -a -g -- sleep 30
# 2. 导出折叠栈
perf script > out.perf
# 3. 用 FlameGraph 工具生成
git clone https://github.com/brendangregg/FlameGraph
cd FlameGraph
./stackcollapse-perf.pl out.perf > out.folded
./flamegraph.pl out.folded > flame.svg
# 或用 perf 内置
perf script report flamegraph

# 生成 off-CPU 火焰图（分析阻塞/等待）
# 需要 bcc 的 offcputime
offcputime -df -p 1234 30 > offcpu.folded
./flamegraph.pl --color=io --title="Off-CPU" offcpu.folded > offcpu.svg

uptime                       # 1. 负载 vs CPU 核数
top -H -p $(pidof app)       # 2. 哪个线程
perf top                     # 3. 哪个函数
perf record -F 99 -p PID -g -- sleep 30; perf report   # 4. 调用栈

free -h                      # 1. 总量与 swap
vmstat 1                     # 2. si/so 换页
ps aux --sort=-%mem | head   # 3. 谁占内存
pmap -x PID | tail           # 4. 进程内存映射
dmesg | grep -i oom          # 5. 是否 OOM

iostat -xz 1                 # 1. 设备 %util / await
pidstat -d 1                 # 2. 哪个进程在读写在
iotop -o                     # 3. 实时 IO 排行
biolatency                   # 4. IO 延迟分布（eBPF）

ss -s                        # 1. 连接状态汇总
ss -tanp | head              # 2. 谁连了谁
sar -n DEV 1                 # 3. 网卡吞吐与丢包
ss -ti                       # 4. TCP 重传/窗口细节
tcpdump -i eth0 -nn host X   # 5. 抓包定位