《Kubernetes 分布式系统原理深入解析》12.2 资源画像与百分位聚合

VPA 用历史用量画像而非实时值做推荐,因为分位数天然抗离群:P90 是覆盖与成本的默认平衡点,P50 省资源但高峰不足,P99 保障强但浪费。本节讲样本窗口与指数衰减、离群值处理、PodOverhead 叠加与步长规整。lab 用 autoscaler 用例验证有序样本的百分位插值计算。

12.2 资源画像与百分位聚合

12.1 的 Recommender 产出推荐,本节回答它凭什么产出这个数:为什么拿历史用量画像而不是实时值,百分位该选 P50/P90/P99 哪个,样本怎么衰减、离群值怎么处理,最后怎么把百分位结果规整成可下发的 requests。这是 VPA 最有算法含量的一节。

读完本节,你应该能回答:为什么 P90 是默认而不是 P99;为什么「一次尖峰」不会改变 P90;为什么推荐值最后要做规整。

为什么用历史画像而非实时值

推荐 requests 的目标是「让 Pod 申请的容量覆盖绝大多数实际用量」。如果用实时值做推荐,会有三个问题:

  • 抖动误伤:某一刻的峰值(促销流量、批处理尖峰)会把推荐永久钉在高位,之后大量资源闲置。
  • 采样缺失:Pod 刚启动、滚动升级、监控断点都会留下空洞;实时值要么缺数据要么只反映「当前这一个瞬间」。
  • 本质问题:requests 是未来一段时间的承诺,承诺应该基于「过去一段时间的事实分布」,而不是「现在这一个点」。

所以 Recommender 走「画像」路线:收集一段窗口内的所有用量样本,聚合成分布,再从分布取一个合适的分位点。这等于把「这个容器过去 N 天用了多少」压缩成「它 90% 的时间都低于这个值」。历史画像天然平滑了抖动、容忍了缺失,也给离群值留了处理空间。

画像还有一个隐含假设:历史会重复。工作日与周末负载不同、促销季与平时不同,如果画像把不同季节的样本混在一起,推荐会落在「谁都不像」的中间值。VPA 不做季节识别,它的应对是「衰减」——让最近的样本主导,过去的模式逐渐退出。所以画像更适合「负载模式稳定、或以周为单位演化」的工作负载。

画像的「过去」与 HPA 的「现在」是两个时间尺度:HPA 每 15s 消费近实时指标,VPA 在更长窗口上重算推荐。两者的刷新频率差几个数量级,所以「HPA 抖动但 VPA 稳定」是常态——VPA 的推荐本来就该低频、渐进,而不是跟着每一拍指标跳动。

直方图:画像的存储形态

真实 VPA 不存「原始样本列表」,而是把样本聚合进分位数直方图——一组有序的桶,每个桶记录落入该区间的样本数量与权重:

  • 桶的边界按用量分布预置(低用量区细、高用量区粗),CPU 与内存各一份直方图。
  • 新增样本 = 找到对应桶并加权重;查询百分位 = 从低到高累加桶权重,找到第一个累积占比超过 p 的桶。
  • 直方图的优势:内存占用固定(桶数不变),与样本总量无关;可以长期累积而不爆炸。

lab 用 Percentile 直接对有序数组做插值,省掉了直方图这层——但「从分布读数」的本质一致。直方图只是让「分布」能长期住在内存里的工程实现,Percentile 的插值公式就是它读数的数学。

直方图的桶数决定读数粒度:桶太粗,P90 与 P80 可能落在同一个桶,读数不敏感;桶太细,内存开销上升。VPA 的桶布局按经验压过,兼顾两者——这是画像工程里「精度与内存」的取舍,lab 的线性插值相当于给了无限细的桶。

百分位:P50/P90/P99 的取舍

百分位是画像的「读数」:第 p 百分位意味着「p% 的样本低于该值」。三个常用取值对应三种运营目标:

百分位含义优点代价
P50覆盖一半时间最省资源一半时间会超卖,高峰大概率打穿
P90覆盖 90% 时间资源与保障的常见平衡点约 10% 时间仍可能不够
P95/P99覆盖 95%/99% 时间高峰保障强绝大多数时间大量闲置,成本显著上升

怎么选取决于超卖后果:

  • CPU 是可压缩资源:超卖只是变慢,选 P90 常是默认(VPA 默认 target 就是 P90)。延迟 SLO 严格、CPU 敏感的可以上 P95。
  • 内存是不可压缩资源:超卖 = OOM = 容器被杀。内存推荐应偏保守(更高百分位),并把样本里的近峰值考虑进去。
  • 对延迟服务,百分位还要结合目标延迟分位——「我的 P99 延迟 SLO」不该由「P50 的资源画像」支撑。

VPA 的默认三数:targetPercentile=0.9、lowerBoundPercentile=0.5、upperBoundPercentile=0.95。target 决定推荐值,上下界决定「是否该干预」的带宽——现状落在 [lower, upper] 之外才值得驱逐重建,落在之内就保持现状,避免频繁扰动。

百分位的另一个细节是目标与上下界的关系:VPA 把 lowerBound 设为 P50、upperBound 设为 P95,意思是「现状低于 P50 是过度申请(该调小)、高于 P95 是申请不足(该调大),P50–P95 之间都算合理」。这给了 Updater 一个明确的「不动区间」——只有跳进区间外,才触发一次重建。

百分位选择还有一个成本视角:P90 到 P95 之间每抬一点,资源成本上升的不是线性而是「长尾」——因为负载分布在高位区更稀疏。理解这点,就明白「P99 安全」的代价通常被低估:它买到的保障可能只有最后 9% 时间,花的钱却是接近翻倍的容量。

样本窗口与衰减

画像不是「把历史一股脑求平均」,它要回答「最近到底多热」。处理方式是窗口 + 衰减:

  • 时间窗口:只保留最近一段窗口的样本(VPA 默认考虑 8 天的内存历史、按天加权),更早的样本丢弃。
  • 指数衰减:越新的样本权重越高,旧样本权重指数下降。这样画像会缓慢遗忘过去的模式,跟上工作负载的演化(如版本升级后用量结构性下降)。
  • 按天加权:真实 VPA 对内存样本按天做加权,避免某一天的高用量长期主导画像。

衰减是双刃剑:衰减太快,画像跟着短期抖动走,推荐变来变去;衰减太慢,画像背着几个月前的旧高峰,永远缩不下来。VPA 的默认值(8 天窗口、指数衰减)是「能跟上以周为单位的演化」的折中。对明显分时段的负载,这个默认未必合适——需要按业务节奏调。

用一个数字感受衰减:如果某天用量是平时的 2 倍,指数衰减下它在一个衰减半衰期(约数天)后会从画像里「淡出」一半权重。8 天窗口保证「上周的模式还在」,「上个月的一次事故尖峰」已被遗忘。调衰减的旋钮是半衰期而非窗口长度——半衰期决定遗忘速度,窗口决定最早样本的年龄。

不同工作负载适合不同的窗口:负载跟随业务日节奏(电商、社交)用 7–14 天能覆盖完整的一周循环;负载稳定的后台任务可以拉长窗口换取更平滑的推荐;发布频繁的服务则要短窗口,让版本变化快速反映进画像。VPA 默认值是通用折中,不是每个业务的最优解。

离群值处理

画像对离群值的态度不是「删除」,而是「稀释」:

  • 单次极端尖峰进直方图后,只抬高对应分位桶的计数。对 P90 而言,1% 的极端样本本来就不该改变 P90——分位数天然抗离群,这正是选分位而非平均值的原因之一。
  • 但如果离群是持续的(每天固定时段的高峰),它会把分位桶抬高,P90 也会上移——这反映的是真实结构,不是噪声,应该被尊重。
  • 均值(或 P50)对离群敏感,P99 对离群也敏感(99% 的分位点容易被最高样本拉动);P90 在「抗单次离群」与「反映持续结构」之间更平衡——这也是它成为默认 target 的算法理由。

一个常见的坑:用「历史最大值」做推荐。最大值完全由离群样本决定,一旦某次监控毛刺出现过,推荐就永远高位。分位数把「一次意外」和「经常发生」区分开,这是 VPA 相对「按峰值申请」的核心改进。

从业务角度,「离群」也要定义:一次 5 分钟的全链路压测尖峰算不算?如果压测会周期性发生,它其实是一种结构;如果是事故误触发的毛刺,它才是噪声。VPA 的分位法不关心定义,它只看频率——出现次数足够多就进入画像,出现一次就被 P90 忽略。频率是它区分噪声与结构的唯一标准。

还有一个工程细节:样本缺失时画像怎么处理?直方图对「空窗口」保持原状而不是清零——缺失时段不被计为低用量,避免一次采集断流把推荐拉到谷底。这跟 HPA 取不到指标时「沿用最近值」是同一套降级哲学:信息缺失不等于负载为零。

CPU 与内存画像的差异

CPU 与内存的画像语义完全不同,不能共用同一套参数:

维度CPU内存
可压缩性可压缩(超卖=变慢)不可压缩(超卖=OOM)
采样语义采样周期内的累计时间/周期某一时刻的瞬时工作集
推荐百分位倾向P90 够用,可下探偏保守,常用 P95 附近
与 HPA 的关系利用率分母直接受其影响同样受影响,且 OOM 风险叠加
衰减考量跟随短期演化跟随长期泄漏趋势(如缓存增长)

实践上常见「CPU 用 P90 压成本、内存用 P95 保不 OOM」的组合。内存还要多留一道:样本里的「近峰值」比均值更接近 OOM 风险,所以内存推荐对尖峰的敏感度本来就该高于 CPU。

画像与 PodOverhead 的结合

推荐值是容器维度的,但一个 Pod 真正占用的资源不止 requests 之和:

  • PodOverhead(来自 RuntimeClass)是 Pod 级固定开销,比如 VM 型运行时、安全容器的额外内存。
  • 注入时,VPA/Admission 会把推荐值与 PodOverhead 叠加,保证最终申请的 Pod 资源包含运行时开销,而不是让 overhead 去挤占业务 requests。

HPA 的关系在这里出现:HPA 的利用率分母是 requests。VPA 改了 requests,HPA 的伸缩行为会变——这是 12.3 要讲的「VPA 与 HPA 共存」问题的算法起点。画像本身只管「容器需要多少」,叠加与协调交给注入层。

PodOverhead 的叠加时机在「注入」而不是「画像」:Recommender 只输出容器维度的推荐,Admission 在写 requests 时才把 overhead 加上。这个分层让算法保持纯粹——画像只回答「容器要多少」,Pod 级叠加是执行细节。若把 overhead 混进画像,不同 RuntimeClass 的同一容器会有不同画像,算法就脏了。

推荐值的步长规整

百分位算出的是连续值,直接当 requests 有几个问题:值太碎(如 0.487326 核)、微小变化触发频繁驱逐、不同 Pod 之间值不一致。所以推荐要做规整:

  • 步长(step):把推荐向上取整到最近的规整步长。lab 的 Recommend 对 0..99 取 P90=89,按 step=10 向上取整到 90。
  • CPU 最小单位:K8s 的 CPU 是毫核,内存是字节;规整避免出现无意义的尾数,也让 Pod 间比较与 QoS 分类稳定。
  • 上下界的规整:lower/upper 也做同样处理,保证「是否干预」的判断基于规整后的值,与可下发值一致。

规整是「算法到运维」的最后一公里:推荐先算后整,先保证分位正确,再保证值可下发、可比较、可审计。规整步长过大则丢精度,过小则保留噪声;VPA 的默认步长在毫核/百兆字节量级,足够平滑。

规整还影响收敛的单调性:向上取整让推荐只会「偏大不会偏小」,配合下界判断,能避免「推荐 89 下发 89、下一轮又算出 88」的抖动。一步取整的代价是平均多申请半步长的资源——对毫核/百兆量级的步长,这个误差可接受。

P50/P90/P99 取舍表

维度P50P90P95/P99
覆盖一半时间九成时间95%/99%
资源成本最低中高
高峰保障差可接受强
抗单次离群中最好差(易被顶样本拉动)
适用测试/无状态批任务默认(VPA target)内存、严格延迟 SLO
超卖后果频繁打穿偶发打穿少数闲置

选型不是一次定死:同一工作负载可以对 CPU 与内存选不同百分位(CPU P90 省成本、内存 P95 保不 OOM),也可以随 SLO 变化调整。百分位是把「风险」翻译成「数字」的旋钮——多一分保障,就多一份成本。

给一个落地顺序:先用 P90 跑两周,看 OOM/延迟告警与资源水位;若内存侧仍偶发 OOM,把内存的 targetPercentile 单独调到 0.95;若成本压力大且延迟容忍度高,把 CPU 下探到 0.85。先按默认跑起来,再按监控数据微调,比一开始就追求「最安全」更划算。

三个常见误解

  • 「P99 最安全,一律选 P99」——错误。P99 意味着 99% 的时间资源过剩;正确做法按「超卖后果」选——可压缩资源 P90 足够,不可压缩资源才需要更高。
  • 「画像直接用历史最大值最稳」——错误。最大值完全被离群样本钉死,一次毛刺让推荐永远高位;分位数才把「偶尔一次」与「经常发生」区分开。
  • 「推荐值就是最终 requests,不用管 Pod 级开销」——错误。RuntimeClass 的 PodOverhead 与 sidecar 开销都要叠加进最终申请,否则运行时开销会挤占业务 requests。

本节 lab

本节把「有序样本百分位插值计算」落到 Percentile 与 Recommend:

cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestVpaPercentile -v

TestVpaPercentile 用 0..29 的有序样本验证:P90 得 26、P50 得 14——线性插值公式 rank = p/100 × n 的精确结果。这正是 Recommender 画像读数的核心:把样本分布压成一个分位值。配合 12.1 的 TestVpaRecommendation(P90=89 → 步长 10 → 90)看,「先分位、再规整」的完整管线就闭合了。

再看一个细节:lab 的 Percentile 对 30 个样本的 P50 取到 14(rank=15,整数秩)、P90 取到 26(rank=27)。当 rank 不是整数时它会线性插值——这正是「样本量小、分布不光滑」时的标准处理。真实直方图桶是离散的,读数天然带一定粒度;插值让 lab 在任意样本量下都给出连续结果,方便断言。

从 0..29 的 30 个样本里读到 P90=26,直观上也说明:P90 只被最大的 10% 样本影响,前 90% 的分布形态怎么变,读数都不动——离群抗性在这一行代码里被量化了。

一句话总结本节

VPA 用「历史画像 + 百分位」而不是实时值做推荐:分位数天然抗离群,P90 是覆盖与成本的默认平衡点;样本经窗口与指数衰减跟上演化,PodOverhead 在注入层叠加,最后按步长规整成可下发的 requests。百分位是把风险翻成数字的旋钮——12.3 接着讲这个推荐值如何按更新模式生效,到那时,「百分位选多少」的答案会直接决定「Recreate 重建出来的 Pod 值是多少」。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图