《Kubernetes 分布式系统原理深入解析》12.1 Recommender/Updater/Admission 三组件

VPA 由 Recommender/Updater/Admission 三组件构成:前者出推荐、中者驱逐偏离的旧 Pod、后者在新 Pod 创建时注入推荐值。本节拆三者的职责、数据流与故障影响,说明为何拆分——故障隔离与可替换性。lab 用 autoscaler 用例验证百分位聚合到推荐 requests 的核心计算。

12.1 Recommender/Updater/Admission 三组件

第 11 章的 HPA 调的是副本数,本节换一个伸缩维度:调每个 Pod 的资源请求。VPA(Vertical Pod Autoscaler)根据历史用量把 requests/limits 调整到贴近实际,从而让「利用率分母」与真实负载匹配。它不是一个单体,而是三个组件——Recommender 出建议、Updater 换旧 Pod、Admission 注入新 Pod。本节拆这三者的职责、时序与故障影响。

读完本节,你应该能画出「推荐 → 驱逐 → 注入」的完整闭环,并说出每个组件挂了会发生什么——这是理解 VPA 运维的第一张图。

三组件全景

VPA 作为一组 Pod 部署,各组件分工:

组件职责运行方式消费/产出
Recommender采集历史与当前用量,算出推荐值常驻控制器产出 status.recommendation
Updater决定哪些运行中的 Pod 需要更新常驻控制器驱逐目标 Pod,触发重建
Admission Controller拦截 Pod 创建/更新,改写 requestsMutatingAdmissionWebhook注入推荐值到新 Pod

三者一起闭环:Recommender 决定「应该是什么」→ Updater 决定「哪些旧 Pod 该换」→ Admission 决定「新 Pod 长什么样」。旧 Pod 被驱逐后由工作负载控制器(Deployment 等)重建,重建请求经过 Admission 被改写——于是「换掉旧 Pod」与「注入新值」在时间上衔接。

三个组件的名字常被缩写为 VPA-Recommender、VPA-Updater、VPA-Admission-Controller,对应三个 Deployment(或进程)。它们共用同一份 autoscaling.k8s.io API 对象,但各自只读自己关心的字段——Recommender 只写 status,Updater 只读 status 与 Pod,Admission 只读 status 与 Pod 请求。这种「一个对象、三个视图」的协作模式,是控制器拆分的典型范式。

为什么拆分三组件

拆成三个独立进程/服务不是随意为之,理由有二:

  • 故障隔离:Webhook 出问题只影响新 Pod 创建,不影响推荐计算;Recommender 挂了只是没有新建议,已经注入的 requests 继续生效。三者任一故障都不会整体瘫痪。
  • 可替换性:Recommender 的算法(百分位、衰减、离群值处理)是最容易迭代的部分,独立组件让它能被单独升级或换成第三方实现;Updater 的驱逐策略同理。
  • 生命周期差异:Admission 是同步热路径(每次建 Pod 都要过),Recommender 是异步计算(分钟级),Updater 是批量执行(受速率限制)。三种执行模式放进一个进程会互相拖累。

代价是组件间需要共享状态——它们通过同一个 VPA 对象通信:Recommender 写 status,Updater/Admission 读 status(及各自缓存)。这个共享对象是三者解耦的唯一纽带。

拆分还带来运维上的独立性:可以单独升级 Recommender 的算法版本而不重启 Admission;可以给 Updater 配更小的资源、给 Admission 配高可用副本;出问题时按组件缩容而不是整组回滚。一个单体控制器虽然「代码少」,但这些运维自由度全都没有。

拆分的另一面是「一致性窗口」:Updater 驱逐的 Pod 与 Admission 读到的推荐可能差一个版本。VPA 接受这种最终一致,因为 requests 的小偏差会在下一轮推荐里被纠正——它不需要强一致,只要「收敛的方向一致」。

VPA 三组件通常部署在 kube-system 命名空间,通过 RBAC 获得读取 Pod/ReplicaSet 与写入 VPA 对象的权限。它不注入 Sidecar、不修改节点,纯靠「API 对象 + Webhook」工作——这是它能作为集群内控制器平滑加入的原因。

这种拆分也决定了后续章节的归属:资源画像(12.2)属于 Recommender,更新策略(12.3)属于 Updater 与 Admission。任何想替换其中一环的改动,都只要替换对应组件,而不是重写整个 VPA——这是拆分的长期红利。

Recommender:采集→画像→推荐

Recommender 是「大脑」,工作分三步:

  1. 采集:读 VPA 对象的 spec.targetRef(如指向某 Deployment),找到对应 Pod;从 metrics-server(及可选的历史源)拉取每容器 CPU/内存用量。数据是「带时间戳的样本流」。
  2. 画像:不直接存原始样本,而是把每个容器的用量聚合进分位数直方图,并随时间衰减——新样本权重大、老样本权重小。画像回答「这个容器在过去窗口内,用量分布长什么样」。
  3. 推荐:从画像取百分位(默认 target=P90、下界=P50、上界=P95,可配),得到推荐值写入 VPA 的 status.recommendation.containerRecommendations。

推荐不是单一数字,而是三个:uncappedTarget(目标)、lowerBound(下界)、upperBound(上界)。Updater 的驱逐判定、Admission 的注入值都以 uncappedTarget 为基准;上下界用于判断「现状是否偏离到需要干预」。

推荐写在 status 而非 spec 是刻意的:spec 是用户意图(我要什么),status 是系统观察(实际怎样)。推荐只是「系统观察得出的建议」,不能覆盖用户意图,所以放在 status,由 Updater/Admission 在合适时机消费它。一旦放错位置(写入 spec),VPA 就从「建议者」变成了「执行者」,违背了组件拆分的初衷。

Recommender 还有一个冷启动问题:新接入 VPA 的工作负载前几分钟没有历史画像,推荐要等样本积累才稳定。VPA 不会在这一阶段给出激进建议——它会先用保守值兜底,等画像变厚再逐步修正。这解释了为什么「刚挂 VPA 的 Pod requests 不会立刻变化」。

VPA 对象与 targetRef 选择

VPA 通过 spec.targetRef 指向一个工作负载,约定管理范围:

  • targetRef 可以是 Deployment、StatefulSet、DaemonSet、ReplicationController 等,需要支持 Scale 子资源;Job 等一次性工作负载不适合——VPA 的推荐要覆盖多个副本的生命周期才有意义。
  • 一个 VPA 只管理一个工作负载;一个工作负载只能被一个 VPA 管理。多 VPA 指向同一工作负载的行为未定义,配置阶段就该避免。
  • 推荐以「容器名」为粒度写入 status.recommendation.containerRecommendations——每个容器各有一份推荐;initContainers 不参与推荐,它们的用量不属于稳态负载。
  • VPA 不修改 Pod 的容器名、镜像、命令等字段,只动 resources;模板里的其他内容一律保持原样。

选 targetRef 的直觉:选那些「长期运行、用量有规律」的工作负载。批处理、短生命周期任务即使被 VPA 管着,推荐也没机会通过重建生效,反而白白消耗 Recommender 的计算。

Updater:驱逐与重启

Updater 负责把「现状」推向「推荐」:

  • 判定:周期扫描受 VPA 管理的 Pod,对比 Pod 当前 requests 与推荐值。差异小于阈值(现状落在上下界之间)的跳过;超出范围的 Pod 进入候选。
  • 执行:对候选 Pod 发起驱逐(删除 Pod 对象)。Deployment 收到删除后重建,重建请求走 Admission 被注入新 requests——Updater 自己不改 Pod 字段,它只负责「让它重来一次」。
  • 节流与保护:Updater 有驱逐速率限制(避免一次驱逐整个工作负载),并尊重 PDB(PodDisruptionBudget)——驱逐前检查 PDB 允许的离线副本,违反则推迟。它本质上是「受控的主动中断」,和节点驱逐、缩容驱逐遵守同一套可用性约束。

关键点:Updater 的『更新』是破坏性的。它不原地改 requests,而是用「驱逐 → 重建 → Admission 注入」的间接路径。这保证了 requests 的变更一定伴随新的 Pod 生命周期,但也意味着每次调整都带来一次滚动中断。

Updater 与副本数毫无关系:它不新增也不删除「整组」Pod,只对「单个」Pod 发起驱逐。一个 VPA 管理的工作负载即使当前 3 副本、推荐全量更新也只会逐个驱逐——副本数保持不变,只是每个 Pod 的 requests 在重建时被替换。这正是 VPA「垂直伸缩、不影响水平规模」的语义保证。

Updater 的驱逐策略里还有一层「小改不驱逐」:如果现状与推荐的差异很小(落在上下界内),驱逐一次 Pod 的成本远大于收益,直接跳过。这个阈值把「每次微调都重建」滤掉,让 VPA 只在「值得重启一次」时才动手。

Admission:改写新 Pod 的 requests

Admission Controller 是 VPA 的「手」,在 Pod 创建/更新时注入推荐值:

  • Webhook:注册为 MutatingAdmissionWebhook,Pod 创建(及更新)请求到达 apiserver 时被拦截。它读 Pod 对应 VPA 的推荐,改写容器 resources.requests。
  • 只对受管 Pod 生效:Pod 必须属于某个 VPA 的 targetRef,且该 VPA 的 updateMode 允许注入(Auto/Recreate/Initial 对新建 Pod 都注入)。未受管或 Off 模式的 Pod 原样放行。
  • requests 与 limits:默认 containerControlledValues=RequestsAndLimits,改写 requests 同时按比例调整 limits;也可以只控 requests、limits 交给调度与 QoS 决定。

Admission 在创建路径上是同步的:每个新 Pod 都要经过它,所以它必须快、且失败时要有放行策略。部署时通常配置为失败放行(failurePolicy: Ignore),避免 VPA 故障阻塞整个集群的 Pod 创建——这与「三组件故障隔离」的目标一致。

从集群配置看,Admission 依赖三样东西:MutatingWebhookConfiguration(声明拦截 Pod 的创建/更新)、TLS 证书(apiserver 与 webhook 之间的双向认证)、以及 namespaceSelector(只拦截目标命名空间,减少路径开销)。证书过期是「VPA 新 Pod 突然不生效」的头号原因——而它根本不会出现在 VPA 日志里,只在 apiserver 的 webhook 日志里。

Admission 的注入还有「一次性」语义:同一 Pod 的多次更新(比如节点变更触发的重新调度)不会重复注入——webhook 会检查 Pod 是否已被 VPA 改写过,避免 requests 在每次重建时被反复套用导致值漂移。

数据流与时序

把三者串成一条时间线:

t1  Recommender 采集用量 → 更新画像 → 写入 status.recommendation
t2  Updater 扫描:发现 Pod A 的 requests 偏离推荐 → 驱逐 Pod A
t3  Deployment 控制器收到删除 → 创建新 Pod B(请求经 apiserver)
t4  Admission webhook 拦截创建 → 读 VPA 推荐 → 改写 B 的 requests
t5  Pod B 以新 requests 启动 → 就绪 → 承接流量
t6  Recommender 下一轮继续采样(现在反映新 requests 下的用量)

把这张时序图与三组件职责表对照看,会发现一个模式:t1/t6 是 Recommender 的循环,t2 是 Updater 的动作,t3–t5 是 Admission 的窗口。每个组件只出现在自己的时间片段里——时序与职责是严格对齐的。

这个时序也解释了为什么 VPA 的效果有「启动延迟」:从挂上 VPA 到第一个 Pod 被更新,至少要经过「画像积累 → 推荐 → 扫描 → 驱逐 → 重建」一整圈,分钟级起步。生产上评估 VPA 效果要给它以小时计的观察期,而不是分钟计。

时序要点:Updater 与 Admission 不在同一拍直接通信,它们通过「VPA 对象 + Pod 对象」间接衔接。Updater 驱逐一个旧 Pod,Admission 在新 Pod 上兑现推荐。若 Recommender 刚改了推荐,而 Admission 读到的缓存还是旧的,新 Pod 会拿到旧值——所以三个组件都订阅 apiserver 的变更,尽量读到同一版本。这种「松散同步」保证了解耦,也带来了一个可接受的最终一致窗口。

这个时序里还藏着一个迭代闭环:Admission 注入的推荐来自上一轮画像,而画像又包含当前 requests 下的实际用量。收敛过程是「推荐 → 新 requests → 新用量 → 新推荐」的反复,通常几轮后稳定。理解这一点,就明白 VPA 的推荐不是一步到位,而是逐步逼近。

失败路径:三组件各自的降级

把「正常时序」反过来,看每个组件失败时系统落到哪:

  • Recommender 挂:status.recommendation 停更。Updater/Admission 仍在消费「最后一次推荐」——集群不会坏,但 requests 不再跟随负载演化,VPA 退化为「一次性调优工具」。
  • Updater 挂:运行中的 Pod 永远不更新,但新建 Pod(扩容、发布)仍拿到推荐。表现为「新副本合理、老副本滞后」,requests 分布不齐。
  • Admission 挂(fail-open):新 Pod 拿不到推荐,退回模板里的旧 requests。此时 Updater 若还在驱逐,会造成「驱逐了但重建的还是没有新值」的空转——所以 Admission 故障时最好同时停掉 Updater。

三个失败模式的共同教训:组件之间靠「读同一对象」协作,故障是静默的——不会报错,只是某个环节停止推进。监控三组件的「推进指标」(推荐更新时间、驱逐次数、注入次数)比看日志更早暴露问题。

三组件职责/时机/故障影响

组件触发时机故障影响关键依赖
Recommender周期(分钟级)+ 变更触发无新推荐;已有推荐仍可应用metrics API、历史源、画像存储
Updater周期扫描运行中 Pod 不再更新;新 Pod 仍被注入PDB、驱逐速率限制
Admission每个 Pod 创建/更新(同步)新 Pod 不再被改写(fail-open)webhook 证书、apiserver 连通

故障影响是分层的:推荐停更最不致命(现状继续),Admission 故障最敏感(但 fail-open 保住可用性),Updater 故障介于中间。诊断 VPA 问题时,先分清「是没推荐、没驱逐、还是没注入」——三个组件的日志分别对应三段链路。

这份表还有一个用途:排查时按「期望 → 现状」两层对照。期望层看 status.recommendation 是否新鲜(Recommender 在跑吗);现状层看 Pod 的 requests 是否等于推荐(Admission 注入过吗)、是否覆盖所有副本(Updater 驱逐过吗)。两层各缺一块,指向的组件都不同。

三个常见误解

  • 「VPA 会像 HPA 一样自动改副本数」——错误。VPA 只调 requests/limits,副本数由 HPA 或人工控制;二者是垂直与水平两个正交维度。
  • 「Admission 会即时改写已经在跑的 Pod」——错误。Webhook 只拦新创建/更新的 Pod;运行中 Pod 必须先被 Updater 驱逐重建,才会以新值启动。
  • 「三个组件少一个也能跑」——错误。缺 Recommender 没有建议、缺 Updater 老 Pod 永远不更新、缺 Admission 新 Pod 拿不到推荐,三件套缺一不可;只有「全部就绪」才算 VPA 真正在工作。

本节 lab

本节把「百分位聚合到推荐 requests 的核心计算」落到 Recommend(autoscaler/autoscaler.go):

cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestVpaRecommendation -v

TestVpaRecommendation 对 0..99 的样本取 P90(89)并按步长 10 向上取整到 90——这正是 Recommender 的核心输出:把一段用量样本聚合成一个规整的推荐值。三组件里的 Updater/Admission 都是在消费这个数字:偏离它就驱逐、创建时注入它。本节的 lab 验证的是「推荐从哪来」,12.2 将深入百分位聚合的细节。

把 lab 的 Recommend 与真实 Recommender 对照:lab 里输入是「一段样本切片」,真实里输入是「直方图」。聚合逻辑一致——都取百分位再规整——只是真实系统多了衰减与存储。这个简化让测试聚焦在「百分位 → 推荐」这一核心映射上。三组件里「计算」这一环在本节被 lab 钉死,剩下的「执行」与「注入」取决于 updateMode——12.3 再展开。

一句话总结本节

VPA 拆成 Recommender/Updater/Admission 三组件:前者出推荐(写 VPA.status),中者驱逐偏离的旧 Pod,后者在新 Pod 创建时注入推荐值——三者通过共享的 VPA 对象松散同步,故障分层隔离。这是「计算建议」「执行更新」「兑现注入」三层职责的经典拆分,也是 12.2 讨论推荐算法、12.3 讨论更新模式的架构基础。

架构上的三组件拆分,让「算法改进」「策略调整」「执行注入」三件事可以在不同节奏上独立演进——这是 VPA 与第 11 章 HPA 单体控制器在设计哲学上的最大区别。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图