Linux 性能监控与调优：从 CPU 到磁盘的完整实战

1. 建立基线（正常态的性能数据）
2. 发现问题（监控告警/用户反馈）
3. 定位瓶颈（四件套逐步缩小范围）
4. 分析根因（perf/sar 深入）
5. 实施调优（单一变量原则，一次只改一项）
6. 验证回归（对比基线，确认无副作用）

性能调优三问：
1. 慢在哪里？（哪个子系统）
2. 有多少余量？（当前使用率 vs 上限）
3. 改什么最划算？（性价比排序）

# CPU/负载
top -d 1
uptime            # load average

# 内存
free -h
vmstat 1 5

# IO
iostat -x 1 5

# 网络
sar -n DEV 1 5
ss -s

load = 等待 CPU 的运行队列长度（含不可中断 IO）
单核 load=1 满载；8 核 load=8 满载
判断标准 = load / 核数

top/vmstat 只看当下，故障往往发生在过去
sar 持久采集历史数据，事后回放定位

apt install sysstat
systemctl enable --now sysstat    # 每 10 分钟采集一次

# 查看今日历史
sar -u          # CPU
sar -r          # 内存
sar -b          # IO
sar -n DEV      # 网络

# 查看某时刻
sar -u -f /var/log/sysstat/sa20260925

# 找出 CPU 高峰时段
sar -u | sort -k5 -rn | head -5

# 对比内存与 swap
sar -r -S | head -20

# 采样 CPU 调用栈（定位热点函数）
perf top
perf record -g -p <pid> -- sleep 10
perf report

# 查看采样统计
perf stat -p <pid> -- sleep 5

# 1. 记录目标进程 10 秒
perf record -g -p 1234 -- sleep 10

# 2. 生成报告，看哪条调用链耗时最多
perf report --stdio
# 火焰图可视化：perf script | flamegraph.pl

# 查看进程亲和
taskset -p <pid>

# 绑定到 0-3 核
taskset -pc 0-3 <pid>

# 启动时绑定
taskset -c 0-3 ./app

# 查看优先级
ps -o pid,ni,pri,cmd

# 以较低优先级启动（nice 值越大优先级越低）
nice -n 10 ./backup.sh

# 调整运行中进程
renice -n 5 -p <pid>

# 实时优先级（一般应用不建议）
chrt -r 99 -p <pid>

free -h
#              total     used     free   shared  buff/cache
# Mem:          15G      8.0G     1.5G    200M     6.0G
# Swap:         2.0G      100M    1.9G

# 查看当前
cat /proc/sys/vm/swappiness
# 默认 60；服务器建议 10-30（尽量少用 swap）

# 临时
sysctl vm.swappiness=10

# 永久
echo 'vm.swappiness = 10' >> /etc/sysctl.conf
sysctl -p

# 脏页回写阈值（默认大，突发写时 IO 高）
sysctl -w vm.dirty_ratio=20
sysctl -w vm.dirty_background_ratio=5

# 查看当前
sysctl vm.dirty_ratio vm.dirty_background_ratio

# 观察 RSS 持续增长
watch -n2 'ps -p <pid> -o pid,rss,vsz,%mem'

# 定位占用 TOP
ps -eo pid,rss,cmd --sort=-rss | head -10

# 更精细：查看 /proc/<pid>/smaps
grep -E 'Rss:' /proc/<pid>/smaps | sort -k2 -rn | head

# 查看当前调度器
cat /sys/block/sda/queue/scheduler
# 输出示例: [mq-deadline] none

# 切换（临时）
echo none > /sys/block/sda/queue/scheduler

# 调整队列深度（NVMe 常见）
echo 1024 > /sys/block/nvme0n1/queue/nr_requests

# 调整预读（顺序读优化）
blockdev --setra 4096 /dev/sda

iostat -x 1 5        # 看 %util、await
iotop                # 看哪个进程在 IO
pidstat -d 1         # 按进程看 IO 速率

# 查看所有可调参数
sysctl -a | grep -E 'tcp|vm'

# 临时设置
sysctl -w net.core.somaxconn=1024

# 永久设置
echo 'net.core.somaxconn = 1024' >> /etc/sysctl.conf
sysctl -p

# /etc/sysctl.conf 追加
net.core.somaxconn = 1024
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 600
fs.file-max = 65535

sysctl -p   # 生效

现象：load 高、%us 高、网络吞吐上不去
排查：
1. top 定位高 CPU 进程
2. perf record -g 看调用栈
3. 若应用层无热点 -> 看上下文切换（vmstat cs 列）
调优：
- 减少不必要锁、降低切换
- CPU 亲和绑定热点线程
- 升级到更快 I/O（cache 友好）

现象：%util > 80%、await 高、吞吐受限
排查：iostat -x 定位高 IO 设备与进程
调优：
- 调整调度器（NVMe 用 none）
- 提升磁盘 cache、增大预读
- 数据库层优化：索引/缓冲池/慢查询

现象：used 爬升、free 减少、swap 开始使用
排查：ps RSS 排序找泄漏进程，观察多窗口趋势
调优：
- 修复泄漏 / 重启回收
- 下调 swappiness，避免过早 swap
- 扩容或限制（systemd MemoryMax）

# 调优前基线
vmstat 1 5 > before.txt
# 调优后
vmstat 1 5 > after.txt
# 对比关键列（cs/swap/si/so）

1. 先治「明显问题」：泄漏、死锁、磁盘满
2. 再调「配置参数」：swappiness、somaxconn、调度器
3. 最后改「应用架构」：缓存、异步、连接池
（从廉价到昂贵，从快见效到需重构）