9.3 主动驱逐 vs 内核 OOM
前两节讲了驱逐的排序与阈值,本节站在更高的视角回答一个总被混淆的问题:驱逐(eviction)与 OOM 到底有什么本质差别,为什么系统宁可驱逐也不让 OOM 发生? 一句话先立论:主动驱逐是『按策略牺牲』,内核 OOM 是『按统计杀戮』。前者可预测、可配置、可优雅,后者瞬时、随机、无退场。
主动驱逐:kubelet 的理性决策
9.2 节的驱逐管理器,本质是 kubelet 里一个周期性的决策循环:
每 10s 检查一次节点压力信号
→ 超过阈值?
→ 是:按 QoS → 优先级 → 超用 选受害者
→ 驱逐(记录 Evicted 事件、走优雅退场)
→ 压力回到阈值以下即停
它是「理性」的,因为每一步都可解释:为什么是它(排序键)、为什么现在(阈值)、为什么停止(刚够即停)。主动驱逐的全部设计目标,是让『牺牲谁』从随机事件变成策略决策。运维可以提前算出「这个节点内存爆了,先死的一定是那批 BestEffort 批处理」。
驱逐的「理性」还体现在它给操作留了抓手:PodDisruptionBudget 能保护关键负载、PriorityClass 能在同类内调顺序、阈值与宽限期能控制触发时机——整条决策链都是运维可编程的。这是它与内核 OOM 最根本的分野:内核不给配置项,只给统计结果。
内核 OOM:系统的最后手段
内核 OOM killer 是另一套逻辑,它只在「内存真的不够分」时启动:
某个进程/容器申请内存失败
→ 内核进入 OOM 路径
→ 按 oom_score 选一个进程
→ SIGKILL(立即、无协商、无优雅)
触发点不是「节点压力信号」,而是一次具体的内存分配失败。它不关心「谁重要谁不重要」,只按 oom_score = 内存占用估算 + oom_score_adj 选「最好杀」的目标。它是保障系统不冻结的最后手段,不是资源治理的常规工具。
oom_score 与受害者选择
内核怎么决定「杀谁」?关键在 oom_score_adj,它在容器创建时按 QoS 写入:
| QoS | oom_score_adj | 被杀优先级 |
|---|---|---|
| BestEffort | 1000 | 最优先 |
| Burstable | 2–999(按超用比例) | 中等 |
| Guaranteed | -998 | 最后 |
| 系统进程(非容器) | 默认 0,可配 | 视占用 |
oom_score 再叠加上内存占用估算。注意这里的「内存占用」不是 requests/limits,而是进程实际 RSS——一个占内存巨大的 Burstable 进程,可能比一个轻量的 BestEffort 更早被杀。OOM 的排序逻辑与驱逐的 QoS 排序不完全一致:驱逐只看声明与优先级,OOM 还会看实际内存。这正是「内核统计」与「策略设计」分歧的地方。
OOMKilled 的判定信号
容器被杀后,怎么确认死因是 OOM?一套明确的信号链:
| 信号 | 位置 | 含义 |
|---|---|---|
reason: OOMKilled | kubectl describe pod 的 Last State | 容器因 OOM 被杀 |
exitCode: 137 | 容器退出码 | 128 + SIGKILL(9) |
ContainerStatuses[].restartCount | Pod 状态 | 被 OOM 后重启次数 |
kernel: Out of memory | 节点 dmesg/系统日志 | 内核 OOM 记录 |
OOMKilled 不等于节点内存不足——它可能只是这个容器自己超过了 limits(cgroup 层 OOM)。判定信号只告诉你「被杀的方式」,根因还要回到 9.2 节的两类压力去查。这也是 9.2 节强调「分不清两种压力就找错根因」的延续。
cgroup 内存限制触发 OOM 的路径
当容器超过自己的 limits.memory,OOM 的路径是 cgroup 级的:
容器 cgroup 内内存分配 → memory.max 被触及
→ 先尝试回收页缓存(memory.stat 的 file)
→ 回收不掉 → 内核在该 cgroup 内选进程杀
→ 只杀这个 cgroup 里的进程,不伤邻居
这条路径的关键是故障隔离:cgroup 把 OOM 圈在容器内。一个内存泄漏的容器超限,OOM 只在它的 cgroup 里挑进程,同节点的其他容器与 kubelet 不受连累。limits 的价值在此刻显形——它是把「一个人闯祸」变成「一个人买单」的边界。
与之对比,节点级 OOM(整节点内存耗尽)会在所有进程里挑目标,包括 kubelet、系统守护进程。这正是集群管理者最怕的场景:系统组件被杀,节点进入恶性循环。驱逐存在的意义之一,就是把节点内存压力在「进入节点级 OOM」之前消化掉。
cgroup 内选谁还有个细节:OOM killer 在同一 cgroup 里按 oom_score 选,而容器内进程的 oom_score_adj 由容器运行时统一设置——所以经常出现「杀的是 cgroup 里内存最大的子进程」而非主进程。容器主进程没被直接杀,但整个容器已处于病态;restartCount 与容器退出码才是可靠的判定信号,不能只看「主进程还在」。
驱逐与 OOM 的边界在这里再次显形:驱逐删除整个 Pod(连带容器统一退场),OOM 只杀 cgroup 内的个别进程(Pod 处于半死不活状态)。这也是为什么很多团队宁要驱逐的「整体性」,也不要 OOM 的「局部性」。
为什么驱逐要先于 OOM
把两者放到同一场内存危机里,驱逐为什么必须先行:
| 理由 | 驱逐 | OOM |
|---|---|---|
| 顺序可控 | QoS → 优先级 → 超用 | oom_score + RSS |
| 优雅退场 | SIGTERM → PreStop → 宽限 | SIGKILL 瞬间 |
| 保护机制 | PDB、优先级可干预 | 只能靠 oom_score_adj |
| 后果可预测 | Evicted 事件、重建队列 | 事后归因 |
驱逐是「有计划地降载」,OOM 是「失控地失血」。驱逐先行动,节点压力先被计划性地缓解;只有驱逐来不及(单容器突发超限、压力爬升太快)时,OOM 才兜底。理想状态下,OOM 事件应该是「零」——每一起 OOMKilled 都说明驱逐或容量规划慢了半拍。
用同一个事故推演两种结局:节点 16Gi 内存,压力爬到只剩 200Mi,需要释放 2Gi。驱逐路径——选出 4 个 BestEffort 批处理 Pod,各释放 500Mi,走 SIGTERM 优雅退出,控制器的重建队列稍后恢复,节点回到安全水位,事件链全程可查。OOM 路径——内存分配继续失败,内核按 oom_score 先杀最大的进程,可能是某个批处理,也可能是个凑巧内存涨起来的在线缓存,瞬间 SIGKILL,无退场、无事件预告,事后只能从 dmesg 反推。两条路径释放的内存一样,代价却完全不同。
监控信号
治理两套机制,监控也要两套:
| 关注点 | 信号 | 动作 |
|---|---|---|
| 驱逐活动 | Evicted 事件计数 | 节点压力反复 → 查容量/超卖比 |
| OOM 活动 | OOMKilled + restartCount | 单容器反复 OOM → 查 limits/泄漏 |
| 节点水位 | memory.available、压力条件 | 预警驱逐即将触发 |
| cgroup 明细 | memory.current vs anon | 区分可回收与不可回收 |
| 内核事件 | dmesg OOM 记录 | 节点级 OOM 排查 |
告警分层:驱逐事件是「正在发生」信号,即时关注;OOMKilled 是「已经出错」信号,需要根因调查;节点水位是「将要发生」信号,接容量趋势看板而不是即时告警。
再给一条实践判据:同节点反复出现 OOMKilled 且驱逐事件稀疏,先怀疑 cgroup 限得过紧——单容器反复撞自己的 limits,是 limits 设置问题,不是节点容量问题。反之,驱逐事件密集但 OOM 少,说明驱逐机制正常工作,问题在容量或超卖比——该看 8.2 节的分配比与信用空间,而不是调 OOM 参数。
两者如何协同兜底
最后把协同关系画成一张流程图式的地图:
节点内存正常 → 无事
内存持续下滑 → 软阈值宽限期 → 回落则无事
过宽限期仍低 → 驱逐开始(按排序)
驱逐仍压不住 → 单容器先撞 limits → cgroup OOM(隔离在容器内)
节点级耗尽 → 内核全节点 OOM(最后的最后,可能伤系统组件)
每一层都是上一层的失败兜底:软阈值兜住抖动、驱逐兜住节点压力、cgroup OOM 兜住单容器失控、节点级 OOM 兜住整机冻结。设计的优劣在于把问题尽量拦在前面——理想集群里,大多数内存危机应该在驱逐层解决,OOMKilled 应该是偶发而非常态。
对比表
把全文的核心差异收成一张总表:
| 维度 | 主动驱逐 | 内核 OOM |
|---|---|---|
| 决策者 | kubelet(用户态,周期检查) | 内核(系统态,分配失败时) |
| 触发条件 | 节点压力信号超阈值 | 内存分配失败 |
| 排序键 | QoS → 优先级 → 超用 | oom_score(RSS + adj) |
| 优雅性 | SIGTERM + PreStop + 宽限 | SIGKILL,瞬间 |
| 保护机制 | PDB、优先级、刚够即停 | 仅 oom_score_adj |
| 作用域 | 节点级,删除 Pod | cgroup 级或节点级杀进程 |
| 可观测 | Evicted 事件 | OOMKilled / dmesg |
| 设计意图 | 策略优先的降载 | 防止系统冻结的最后手段 |
三个常见误解
- 「OOMKilled 说明节点内存不足」——错误。更常见的是单个容器超过自己的
limits.memory,触发的是 cgroup 级 OOM,节点内存可能还很充裕。先看kubectl describe pod,再看节点水位,两个信号分开归因。 - 「设了 requests 就不会被 OOM」——错误。OOM 按 limits 与实时内存触发,与 requests 无关。requests 影响的是调度与驱逐排序,不构成内存免死金牌。
- 「驱逐和 OOM 是同一件事的两种叫法」——错误。驱逐是策略决策(有序、优雅、可保护),OOM 是内核兜底(瞬时、统计排序、无退场)。把两者混为一谈,就失去了设计驱逐的所有理由。
一句话总结本节
主动驱逐与内核 OOM 的分工,是「让牺牲可控」与「让系统不冻结」的分工:驱逐把节点压力变成可预测的降载流程,OOM 只在失控时兜底。每一起 OOMKilled 都是驱逐与容量规划的迟到——治理的目标不是消灭驱逐(它合理),而是让 OOM 永远不成为常态。到这里,第 9 章的三节(分类、驱逐、OOM)收束成一条线:用声明分层,用驱逐降载,用 OOM 兜底。
本节 lab
本节用 qos 包验证「主动驱逐的有序性与保护机制,正是 OOM 所缺的」:
cd private/labs/k8s-sched-lab
go test ./qos -run 'TestEvictionSkipsProtected|TestEvictionOrderQoS' -v
TestEvictionOrderQoS 验证 BestEffort 最先被选(策略排序);TestEvictionSkipsProtected 验证受 PDB 保护的 Pod 被跳过、改选下一个(保护机制)——这两个特性,内核 OOM 都不具备:它既没有 QoS 排序,也不会因 PDB 放谁一马。这正是「驱逐比 OOM 先行的理由」的可运行证明。qos 包共 7 个用例,全部通过。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。