《eBPF 与可观测性：bpftrace、追踪与动态插桩》

编写(eBPF C/bpftrace) → 编译成字节码 → verifier 静态检查
→ JIT 编译成原生指令 → 挂到 hook 点 → 事件触发即执行

# 检查内核是否支持 eBPF
bpftool feature probe
# 查看已加载的程序
bpftool prog list

bpftrace/BCC 前端
  ↓ 生成 eBPF 字节码
verifier（拒绝危险程序）
  ↓ JIT 成原生指令
加载进内核 → attach 到 hook
  ↓
与用户态交换数据：maps（哈希/数组/环形缓冲）+ perf event

# 查看当前加载的程序与 maps
bpftool prog list
bpftool map list
# 查看某程序字节码（反汇编）
bpftool prog dump jited id 42

# kprobe：内核函数入口/返回
bpftrace -e 'kprobe:do_sys_open { printf("open: %s\n", comm); }'
# uprobe：用户态函数
bpftrace -e 'uprobe:/bin/bash:readline { printf("readline: %s\n", comm); }'
# tracepoint：稳定事件
bpftrace -e 'tracepoint:syscalls:sys_enter_openat { @[comm] = count(); }'

# 统计各进程发起系统调用的次数
bpftrace -e 'tracepoint:syscalls:sys_enter_* { @[comm] = count(); }'
# 追踪文件打开（谁打开了哪个文件）
bpftrace -e 'tracepoint:syscalls:sys_enter_openat {
  @[comm, str(args->filename)] = count(); }'
# 内核函数执行频率
bpftrace -e 'kprobe:* { @[probe] = count(); }'

# 只看特定进程：过滤条件
bpftrace -e 'tracepoint:syscalls:sys_enter_* /pid == 1234/ { @[probe] = count(); }'
# 5 秒后自动退出
bpftrace -e 'kprobe:do_sys_open { @[comm] = count(); }' -d 5

# 采样 CPU：谁在跑 + 内核栈
bpftrace -e 'profile:hz:99 { @[comm, kstack] = count(); }'
# 任务在 CPU 上的排队延迟（runqlat 直方图）
bpftrace -e 'tracepoint:sched:sched_wakeup {
  @usecs = hist((nsecs - args->target_sleep_delta) / 1000); }'

# 追踪 kmalloc 调用者栈（内核内存分配热点）
bpftrace -e 'kprobe:kmalloc { @[kstack] = count(); }'
# 用户态 malloc 频率（需符号）
bpftrace -e 'uprobe:/lib/x86_64-linux-gnu/libc.so.6:malloc {
  @[comm, ustack] = count(); }'

输出示例（runqlat 直方图）：
@usecs:
[16, 32)             120 |@@@@
[32, 64)             980 |@@@@@@@@@@@@@
[64, 128)            2100|@@@@@@@@@@@@@@@@@@@@@@
[128, 256)            700 |@@@@@@@

# XDP：驱动层丢包（CPU 开销极低，适合 DDoS 防护）
bpftrace -e 'kprobe:ndo_start_xmit { @[comm] = count(); }'
# tc：进入/离开网络栈的数据
# kprobe 追踪 TCP 收发
bpftrace -e 'kprobe:tcp_sendmsg { @bytes = sum(arg2); }'
bpftrace -e 'kprobe:tcp_recvmsg { @bytes = sum(arg2); }'

# TCP 重传观测（网络质量问题定位）
bpftrace -e 'tracepoint:tcp:tcp_retransmit_skb {
  @[n2s(args->saddr), n2s(args->daddr)] = count(); }'

# VFS 层：谁在读写哪些文件
bpftrace -e 'tracepoint:syscalls:sys_enter_read {
  @[comm, str(args->buf), args->count] = count(); }'
# 块层：设备请求延迟直方图
bpftrace -e 'kprobe:blk_start_request { @start[arg1] = nsecs; }
  kprobe:blk_complete_request /@start[arg1]/ {
    @usecs = hist((nsecs - @start[arg1]) / 1000);
    delete(@start[arg1]); }'
# 更简单的现成工具：BCC 的 biolatency
biolatency 10

# 文件系统同步等待（ext4 日志提交）
bpftrace -e 'kprobe:ext4_sync_file { @[comm] = count(); }'

sudo apt install bpftrace bpfcc-tools
# 常用工具一览
execsnoop      # 追踪新进程执行
opensnoop     # 追踪文件打开
runqlat       # CPU 排队延迟
biolatency     # 块设备 IO 延迟
tcpconnect     # 记录 TCP 建连
tcplife        # TCP 连接生命周期
profile        # CPU 采样火焰图数据
oomkill        # 追踪 OOM killer 事件

# 生产最高频的三个
opensnoop -p 1234          # 这个进程在打开什么文件
execsnoop                   # 谁在启动进程（排查恶意行为）
oomkill                     # OOM 时到底杀了谁

# 禁止非特权用户加载 eBPF（默认内核参数）
sysctl kernel.unprivileged_bpf_disabled
# root 也需要 CAP_BPF/CAP_PERFMON/CAP_SYS_ADMIN 之一
capsh --print | grep bpf

# 采样率与时长克制：99Hz 采样 30 秒够定位绝大多数问题
bpftrace -e 'profile:hz:99 { @[comm] = count(); }' -d 30
# 先 bpftrace -l 确认 hook 存在，避免 attach 失败
bpftrace -l 'kprobe:do_sys_open*'