《Kubernetes 分布式系统原理深入解析》8.3 工程陷阱:cgroup v2、PodOverhead

cgroup v2 的统一层级与 memory.current 计量让内存水位判断更细腻,PodOverhead 把沙箱运行时开销计入调度需求。本节讲这两个机制的正确口径与常见配置陷阱——overhead 漏配、cgroup 版本不一致、CPU manager 对齐、ephemeral-storage 计量。lab 用 resmodel 包验证 overhead 计入 Effective 后对『装不装得下』的直接影响。

8.3 工程陷阱:cgroup v2、PodOverhead

前两节讲资源模型的语义与策略,本节讲落地时的坑。资源声明写进 YAML 只是第一步,真正执行它的是节点上的 cgroup 与 kubelet。cgroup v2 的计量口径、PodOverhead 的隐性占用,都在悄悄改变「你的节点到底剩多少」。

cgroup v2:统一层级与 pod 级 cgroup

cgroup v2 相对 v1 的根本变化是统一层级:v1 中 CPU、内存、设备等每个子系统各自挂一棵树、路径各不相关;v2 把全部控制器放在同一个层级,/sys/fs/cgroup 下每个目录就是一个同时受多个控制器约束的 cgroup。

对 Kubernetes 意味着三件事:

变化v1v2
层级每控制器一棵树单棵树统一层级
pod 级 cgroup无(只有容器级)有,kubepods.slice/kubepods-burstable.slice/...
内存字段memory.limit_in_bytesmemory.max、memory.current、memory.high

pod 级 cgroup 是 v2 最关键的收益:Pod 内所有容器共享一个内存上限,容器间的内存总量受 memory.max 约束。这让「一个容器泄漏、整个 Pod 内存超限」能被 Pod 级 OOM 兜住,也给了 kubelet 更细的计量粒度——第 9 章驱逐排序依据的「Pod 用量」正是从这里来的。

内存计量的差异:memory.current 与页缓存

v2 的 memory.current 是所有内存的总账,包含页缓存(page cache)。页缓存是文件读写的缓冲,属于可回收内存。这个细节造成一个常见误判:

memory.current 逼近 memory.max
→ 别急着判「要 OOM 了」
→ 先看有多少是页缓存(memory.stat 的 file 字段)
→ 页缓存足 → 内核会先回收,继续正常运行
→ 匿名内存(进程堆栈)逼近 max → 才真的 OOM

因此 v2 里「内存水位高」有两层含义:可回收的高(还能撑)与不可回收的高(快死了)。memory.high(软限制)是 v2 特有的中间档——超过它会触发内存回收与节流,但不立刻杀进程。理解这三档(high 回收、max 硬顶、OOM 杀)的顺序,是排查内存问题的基本功。

判读 memory.stat 的关键字段:

字段含义判读
anon匿名内存(堆栈)逼近 max 才是真危险
file页缓存(可回收)大说明读得多,别慌
slab内核对象缓存部分可回收,部分不可
pglazyfree惰性释放页回收压力下的中间态

一屏 memory.stat 里,anon 才是「不能回收的那部分」。生产里最常见的误报是:memory.current 到了 max 的 95%,监控告警,实际 anon 只占 40%——页缓存回收一下就回到安全区。告警阈值按 anon 而不是 current 设,能砍掉一大半的假 OOM 告警。

PodOverhead:运行时开销进入调度

普通的 containerd 容器几乎没有额外开销,但沙箱运行时(gVisor、Kata Containers、Firecracker)每启动一个 Pod 都要占一份固定的 CPU 与内存——虚拟机内核、沙箱监控进程。这份开销若不进调度模型,节点会被悄悄填满。

PodOverhead 字段解决这个问题:与 RuntimeClass 绑定,声明「用这个运行时启动一个 Pod 要额外占多少」。

kind: RuntimeClass
metadata:
  name: kata
handler: kata-fc
overhead:
  podFixed:
    cpu: "250m"
    memory: "128Mi"

调度器把 overhead 计入 Pod 的资源需求,kubelet 也在运行时对运行中的 Pod 计量 overhead。没有它,沙箱 Pod 会挤占你以为是余量的资源。

注意 overhead 与 limits 的关系:overhead 也参与容量账,但它是固定税而非峰值账。运行时开销不管容器实际用多用少都在那儿——虚拟机内核占着 128Mi 就是 128Mi。所以 overhead 更像「另一个 requests」:按固定值计入,不考虑节流与突发。

RuntimeClass 与 overhead 的绑定是声明式的:调度器只知道「这个类的 Pod 带 overhead」,具体多少由集群管理员在 RuntimeClass 上维护。改 overhead 会影响未来所有该类 Pod 的调度,因此它属于容量治理的一部分,不该随手改。

Effective 需求:requests + overhead

调度器眼中一个 Pod 的「真实需求」不是 requests,而是 Effective:

Effective.CPU = Σ容器 requests.CPU + overhead.CPU
Effective.Mem = Σ容器 requests.Mem + overhead.Mem

节点 Fit 判定用的是 Effective,而不是裸 requests。这与 8.1 节「调度只看 requests」并不矛盾——调度看的是「requests + 运行时开销」这个完整保证量。8.2 节超卖时,overhead 也必须计入分配比分子,否则超卖比会被低估一个「沙箱税」。

常见配置陷阱

把踩过的坑汇总成表,每条都是一次事故的教训:

陷阱表现后果
overhead 漏配RuntimeClass 没写 overhead沙箱 Pod 密集时节点隐形过载
cgroup 版本不一致节点混跑 v1/v2,监控脚本按 v1 字段写计量错位,水位判断失灵
CPU manager 对齐静态 CPU manager 要求 Guaranteed + 整数核,Pod 是 Burstable独占核心策略不生效,Quota 与 cpuset 互相打架
ephemeral-storage 计量只盯内存,日志/emptyDir 涨到 nodefs 满触发 imagefs/nodefs 驱逐(第 9 章)
swap 语义v2 默认 memory.swap.max 与 v1 不同把 swap 当救命的 Pod 反而被 OOM

每条陷阱的共同点:声明与运行时口径不一致。修法都是「把两边的数字对齐」——overhead 补齐、cgroup 版本统一、CPU manager 前置检查、ephemeral-storage 与日志轮转一起规划。

排查方法:从数字到根因

遇到「节点明明有空闲,新 Pod 却调度失败」或「Pod 莫名 OOM」,按路径查:

  1. 调度失败:kubectl describe pod 看 Events 里的 Insufficient cpu/memory,对照 kubectl describe node 的 Allocatable——确认是不是 overhead 把需求撑过了余量。
  2. 节点水位:进节点读 /sys/fs/cgroup/kubepods.slice/.../memory.current 与 memory.stat,区分页缓存与匿名内存。
  3. cgroup 归属:crictl 列出容器拿到 cgroup 路径,确认它落在 kubepods-burstable.slice 还是 kubepods-guaranteed.slice——这决定了驱逐与 OOM 的待遇。
  4. CPU 节流:读 cpu.stat 的 nr_throttled,结合第 8.1 节的 cpu.max 判断是被配额压的还是真的没核。

排查的本质是把声明、cgroup 实际值、监控三份数据对齐;对不齐的那一环就是事故现场。

一个可用于一线的命令速查:

# 看调度失败的真正原因(Insufficient 还是别的)
kubectl describe pod <name> | grep -A3 Events
# 看节点可分配的账面(Allocatable 才是调度口径)
kubectl describe node <node> | grep -A5 Allocatable
# 进节点看 cgroup 实际内存组成
cat /sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/*/memory.stat
# 看 CPU 是否被配额压(throttled 增长 = 被限流)
cat /sys/fs/cgroup/kubepods.slice/*/cpu.stat

四行命令覆盖「调度失败」「账面不足」「实际内存」「CPU 节流」四类现象。结合本节的陷阱表,多数资源类事故能在一轮排查内定位到根因。

allocatable 与系统预留

节点能分给 Pod 的不是 Capacity,而是扣掉预留后的 Allocatable:

Allocatable = Capacity − kube-reserved − system-reserved − eviction-threshold

kube-reserved 留给 kubelet/容器运行时,system-reserved 留给系统守护进程(sshd、systemd),eviction-threshold 是第 9 章驱逐触发的安全垫。overhead 与 requests 挤占的是 Allocatable,而预留挤占的是 Capacity。三层数字(Capacity、Allocatable、ΣEffective)在任何容量计算里都要分清,混用是容量规划翻车的高频原因。

一个数字例:节点 Capacity 8 核 32Gi,system-reserved 0.5 核 1Gi、kube-reserved 0.5 核 2Gi、eviction-threshold 1Gi 内存,则 Allocatable = 7 核 28Gi。10 个沙箱 Pod(每 Pod requests 0.5 核/2Gi + overhead 0.25 核/0.5Gi),ΣEffective = 7.5 核/25Gi——CPU 已经装不下,可裸 requests 只有 5 核,账面上还「很空」。这就是 overhead + 预留叠加出来的隐形边界。

事故复盘:隐形过载的完整链条

把陷阱串成一个可复盘的完整事故,比单列清单更贴近现场:

背景:混部集群把在线服务迁到 Kata 沙箱 RuntimeClass,overhead 未配置。某节点 Capacity 4 核 16Gi,账面 Allocatable 3.8 核 14.4Gi,调度了 6 个 Pod,Σrequests 3.6 核 / 13.2Gi——账面还剩 0.2 核 / 1.2Gi,一切正常。

爆发:沙箱 Pod 每个实际还要占 0.25 核 / 512Mi。6 个 Pod 的真实占用 = 3.6 + 1.5 = 5.1 核 / 13.2 + 3 = 16.2Gi——CPU 超容量 1.3 核,内存超容量 0.2Gi。

表象:白天负载低时一切正常;晚上批量任务起来,节点 CPU 全线节流、个别容器 OOMKilled。查 kubectl top node,利用率 60%——「明明不高,怎么这么卡」。

根因:监控只看裸 requests 与实际用量,没看 Effective。真正超限的是「requests + overhead」这条调度账。修复:给 RuntimeClass 补 overhead、把 6 个 Pod 中的批处理挪到普通运行时节点,节点恢复。

这条链条的每一步都对应本节的表:账面上「有空」、实际上「已满」,根因永远是某一层口径没对上。排查时问自己一句「这个数字包含 overhead 吗」,能省下大半天的抓头时间。

三个常见误解

  • 「cgroup v2 只是路径写法变了,别的都一样」——错误。统一层级、pod 级 cgroup、memory.high、swap 语义都是行为级差异,v1 时代的监控脚本与调参思路要整体重审。
  • 「PodOverhead 只是运行时的事,调度不关心」——错误。overhead 计入 Effective 需求,直接参与 Fit 判定与分配比计算;漏配等于让调度器对真实需求视而不见。
  • 「memory.current 接近 max 就是要 OOM 了」——错误。要先分页缓存与匿名内存,页缓存可回收,真正逼近硬顶的匿名内存才会触发 OOM。急着扩 limits 可能只是治错了病。

一句话总结本节

cgroup v2 与 PodOverhead 是两个「口径」问题:v2 把计量变细(页缓存、pod 级、memory.high),overhead 把需求变全(沙箱税进调度)。工程上所有陷阱都源于声明、cgroup 实际值、监控三者对不齐——把口径统一了,超卖、驱逐与 OOM 的账才算得准。

本节 lab

本节把「overhead 计入 Effective 后影响装不装得下」落到 resmodel/resmodel.go 的 Effective 与 Fit:

cd private/labs/k8s-sched-lab
go test ./resmodel -run TestPodOverhead -v

TestPodOverhead 验证:requests 100m/128Mi 加上 overhead 20m/32Mi 后,Effective 变成 120m/160Mi——节点恰好 120m/160Mi 时 Fit 为真,但只要节点已分配哪怕 1m/1Mi,Fit 就为假。这正是「overhead 隐形吃掉余量」的精确演示。resmodel 包共 6 个用例,全部通过。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图