11.2 指标来源:metrics-server/自定义/聚合
11.1 的比例公式假设「利用率」随时可得,但公式本身不产生数据。HPA 拿到的指标从哪来、延迟多大、拿不到时怎么办,直接决定公式算得准不准。本节拆开三类指标源与背后的聚合层,并讲清「指标不可用」时的降级语义。
读完本节你应该能回答:三类指标源分别从哪来、指标滞后为什么影响伸缩准确性、指标源挂了 HPA 会怎么办——这三个问题的答案决定了 11.1 公式在实际集群里到底有多少「水分」。
指标来源的层级
HPA 的指标在 API 层面分三层,对应三种命名空间:
- Resource 指标:
metrics.k8s.io,由 metrics-server 提供,值是节点/Pod 的 CPU、内存等资源实际用量。这是默认、最常用的来源,对应resource类型的 HPA 指标。 - 自定义指标:
custom.metrics.k8s.io,度量集群内对象(Deployment、Pod、Service 等)的业务指标,如队列消费速率、请求延迟分位数。 - 外部指标:
external.metrics.k8s.io,度量集群外系统的指标,如云厂商消息队列深度、外部 API 的负载。没有「对象」维度,只有「指标名 + 标签」维度。
层级关系不是「三选一」,而是可叠加:一个 HPA 可以同时引用多个指标,控制器对每个指标各算一个 desired,取最大者作为最终期望。Resource 是基础层,自定义/外部是扩展层,它们的接入都走同一个聚合层。
每个层级的 HPA 声明方式对应 spec.metrics[].type 的几种取值:Resource、Pods(按 Pod 平均的自定义指标)、Object(按对象取值的自定义指标)、External。写 HPA YAML 时最容易混淆的是 Pods 与 Object——前者自带「除以副本数」的均值语义,后者直接取对象指标值。这也是 11.1 公式里 utilization 的出处:它来自某个具体指标类型与目标语义的组合。
一个典型的渐进式接入路径是:先用 Resource 指标让 HPA 跑起来(零额外依赖),再按需叠加自定义指标,最后才考虑外部指标。每一步都意味着多一层适配器依赖与排障面——能用更简单的来源满足需求,就不要引入更复杂的。本节的地图:先看三层指标怎么组织,再深入 metrics-server 的采集口径,然后看自定义/外部指标怎么接进来,最后讲聚合层与降级行为。
metrics-server:Resource 指标的采集口径
metrics-server 是 Resource 指标的标准实现,部署在集群内,以聚合 API 的方式暴露:
- 采集路径:metrics-server 每
--metric-resolution(默认 15s)轮询各节点 kubelet 的 Summary API(10250 端口),拿到每个容器的 CPU 与内存用量。 - CPU 口径:kubelet 的 CPU 用量来自容器运行时与 cgroup,单位是 CPU 时间;metrics-server 把用量除以 requests 换算成利用率。HPA 对 Resource 指标计算时,
utilization = 实际用量 / requests(按有 requests 的 Pod 计入)。 - 内存口径:内存用量的瞬时工作集(working set),是不可压缩资源,除以 requests 得利用率。
- 延迟与内存窗口:metrics-server 把采集到的数据放在内存中的短期窗口(分钟级),HPA 每 15s 同步读取一次,整体「指标从发生到被 HPA 消费」的延迟量级是几十秒。
关键取舍:metrics-server 只做「近实时快照」,不存历史。它小、无状态、可水平扩,但你不能拿它回放昨天的 CPU——历史要接 Prometheus 等 TSDB 另做。HPA 不需要长历史,它要的是「现在多热」,所以短窗口是够用的。
Resource 指标还有一个使用前提:目标 Pod 必须设置了 requests。HPA 的利用率 = 用量 / requests,requests 是分母;没设 requests 的 Pod 无法参与平均,甚至会让该指标的利用率口径失效。这也是 VPA 与 HPA 的天然接口——requests 先要合理,HPA 的利用率才有意义(第 12 章会展开)。
自定义指标 API(Custom Metrics)
自定义指标允许 HPA 消费业务指标,接入方式是适配器:
- 标准 API:
custom.metrics.k8s.io,请求形如GET /apis/custom.metrics.k8s.io/v1beta2/namespaces/{ns}/pods/{name}/{metric}。 - 常见适配器:Prometheus Adapter(
k8s-prometheus-adapter)、kube-metrics-adapter、云厂商自带适配器。它们把后端查询翻译成聚合 API 响应。 - 口径由适配器决定:返回的值可以是「每 Pod 的指标值」,HPA 用「平均值」目标(
averageValue);也可以是无 Pod 维度(如按 Deployment 汇总),用「总值」目标(value)。
自定义指标的选择要回答一个问题:指标是否随副本数线性伸缩。队列消费速率、每秒请求数这类「总量」指标适合;而「平均延迟」不适合当伸缩指标——副本多了平均延迟未必降。选错了指标,比例公式会把副本数推向错误方向。
averageValue 与 value 的口径差异直接改变公式:前者把指标总值除以「就绪 Pod 数」得到每副本负载,再与 target 比较,行为与 Resource 指标类似;后者直接把指标总值与 target 比较,期望副本 = ceil(总值 / target)。选错口径会差出「除以副本数」这一步——例如用 Deployment 汇总 QPS 做 value 目标,扩容后总值不变、每副本负载下降,HPA 会缩回来,形成「扩了又缩」的循环。
适配器本身是集群里又一个「常驻但有状态」的组件:它要连后端(Prometheus 等)、要定期同步规则、要处理标签匹配。把它当作有状态服务对待——上反亲和、给足资源、监控它的错误率。很多 HPA 指标「看起来时有时无」的问题,最后都落在适配器日志里的一个规则没生效。
外部指标 API(External Metrics)
外部指标把伸缩信号接到集群外:
- 标准 API:
external.metrics.k8s.io,指标只有「名字 + 标签」,没有集群对象维度。典型场景是云厂商队列(SQS 深度、Kafka lag)、外部 SLA 探针。 - 与自定义指标的分界:指标是否关联集群内对象。关联对象(如 Pod 的指标)走 custom;不关联、纯粹外部系统走 external。
- 适配器同样负责实现:云厂商通常提供自家适配器,把云监控指标映射到聚合 API。
外部指标的延迟通常比 metrics-server 更大——云监控 API 的采集与聚合周期分钟级是常态。对外部指标,容忍带与稳定窗口的取值要考虑这种延迟:指标本身就滞后,HPA 如果窗口调得太紧,会在「指标还在路上」时做出过激反应。
外部指标另一个特点是多集群共享:一个消息队列可以被多个集群的 HPA 消费,指标名与标签必须全局唯一,否则不同集群的伸缩规则会互相踩踏。规划外部指标时,命名空间与标签约定(如 env=prod、region=...)要提前定好。
聚合层:API aggregation 如何接入
三类指标统一走 apiserver 的聚合层(API aggregation),这是它们能无缝接入的架构原因:
- 每类指标注册一个
APIService(apiregistration.k8s.io/v1),把对应 API 组(metrics.k8s.io、custom.metrics.k8s.io、external.metrics.k8s.io)代理到后端服务。 - HPA 只跟 apiserver 说话:
GET /apis/metrics.k8s.io/v1beta1/...由聚合层路由到 metrics-server,GET /apis/custom.metrics.k8s.io/...路由到适配器。HPA 不用知道后端是谁。 - 聚合层带来可替换性:metrics-server 可以是任意实现(只要满足
metrics.k8s.io协议),Prometheus Adapter 也可以换别的适配器,HPA 代码零改动。 - 代价:多一跳代理,聚合层要处理超时、重试与返回码映射;后端慢会直接拖慢 HPA 的同步节奏。
一句话:协议标准化(聚合 API)让指标后端成为插拔组件。这也是「K8s 不内置监控、只定义接口」哲学的体现——采集谁做、存多久,都留给生态。
聚合层的排障也遵循同一路径:kubectl get apiservice 看每个服务是否 Available,kubectl get --raw /apis/metrics.k8s.io/v1beta1 直接打原始 API 验证。聚合层故障时,HPA 拿到 5xx 会按降级语义处理——所以 apiservice 的健康状态要纳入监控。
对控制器而言,它只依赖 metrics.k8s.io、custom.metrics.k8s.io、external.metrics.k8s.io 这三个 API 组的可用性——这也是「集群缺了 metrics-server,HPA 就退化为空转」的根本原因:不是 HPA 坏了,而是它依赖的 API 组无人应答。
指标获取失败时的降级行为
指标不是永远可得的。metrics-server 重启、适配器超时、Pod 刚创建尚无数据,都会让 HPA 拿不到当前值。此时 HPA 的行为是保留上次决策、不伸缩:
- HPA 对每个指标维护一个观察窗口;某拍取不到新值,就沿用最近的有效值继续计算,并在 HPA 的
status.conditions里记录FailedGetResourceMetric/FailedGetExternalMetric等条件。 - 它不会因为取不到指标就把副本缩到 min,也不会盲目扩容——伸缩需要「证据」,没证据就维持现状。
- 新 Pod 的启动期有特殊处理:
--horizontal-pod-autoscaler-initial-readiness-delay(默认 30s)内不因指标缺失做激进的驱逐/重建判断,--horizontal-pod-autoscaler-cpu-initialization-period(默认 5m)内 CPU 数据缺失的 Pod 被当作低负载处理,避免启动尖峰把利用率顶上去误扩容。
降级语义的设计逻辑:伸缩是高风险的写操作,宁可错过一次扩容,也不在信息不全时乱动。运维上要区分「HPA 不动是因为负载低,还是因为指标挂了」——看 HPA 的 conditions 是最直接的诊断入口。
还有一个容易被忽略的时序点:HPA 的降级是逐拍的——这一拍取不到就用上一拍的值,下一拍恢复就用新值,中间不需要任何状态复位。它不像分布式事务那样需要「恢复确认」,因为每次决策都是无状态的独立计算。这个特性让指标源的抖动只会造成「短暂停滞」,而不会造成「错乱」。
指标延迟与伸缩准确性的权衡
指标延迟是伸缩准确性的头号敌人,三者之间是三角关系:
| 因素 | 倾向 | 代价 |
|---|---|---|
| 采集频率高(metrics-server 5s vs 15s) | 更快发现趋势 | apiserver/kubelet 压力增大 |
| 指标窗口短(如 1 分钟) | 更贴近实时 | 单次抖动穿透概率增大 |
| 容忍带大 / 稳定窗口长 | 更稳、少振荡 | 对真实趋势响应慢 |
实用口径:Resource 指标几十秒延迟可接受,因为 CPU 趋势通常分钟级变化;外部/云指标分钟级延迟要接受,别把稳定窗口调到比指标延迟还短;自定义指标要看业务,队列深度这类「总量」指标延迟半小时也能用,而限流场景需要尽量新鲜的指标。
另一个准确性来源是分母:HPA 用「就绪且设置了 requests 的 Pod」做平均。副本还在启动(未就绪)时不计入分母,指标被「摊」到更少的 Pod 上——这是故意的,因为新 Pod 还没开始承接负载。理解这一点,就明白为什么「启动慢的应用扩容后指标看起来异常」。
最后记住:指标延迟本身也是伸缩稳定性的一部分。11.3 的稳定窗口本质上在「等指标确认」;如果指标延迟超过窗口,稳定机制就会失效。反过来,指标越新鲜,稳定窗口越可以收短——所以「升级指标链路」和「调小稳定窗口」常常是一对配套优化。
三类指标源对比
| 维度 | Resource 指标 | 自定义指标 | 外部指标 |
|---|---|---|---|
| API 组 | metrics.k8s.io | custom.metrics.k8s.io | external.metrics.k8s.io |
| 典型后端 | metrics-server | Prometheus Adapter 等 | 云厂商适配器 |
| 度量对象 | 节点/Pod 资源用量 | 集群内对象业务指标 | 集群外系统指标 |
| 有无对象维度 | 有(Pod) | 有(对象名) | 无(标签维度) |
| 指标新鲜度 | 近实时(几十秒) | 取决于适配器(秒到分钟) | 通常分钟级 |
| 是否存历史 | 否(内存短窗口) | 取决于后端(TSDB 有) | 取决于后端 |
| 典型用例 | CPU/内存利用率 | QPS、队列消费速率 | 云队列深度、外部 SLA |
表格里的「是否存历史」最容易引起误解:Resource 不存、自定义/外部取决于后端。如果想让 HPA 参考「上周同时段的负载」,需要的是历史指标系统加支持读取历史窗口的适配器——这是把伸缩从「反应式」升级为「预测式」的第一步,但多数场景先做好反应式就够了。
选型口诀:能用 Resource 就不接自定义,能用自定义就不接外部——越靠左,标准越稳、依赖越少;越靠右,越接近业务真相,但延迟、可用性与口径都更依赖适配器质量。
当一个 HPA 配了多个指标时,控制器对每个指标各算期望副本,取最大值应用。这带来一个运维直觉:最「热」的指标决定副本数。CPU 不高但队列很深,副本数由队列决定;队列清空后 CPU 仍高,副本数由 CPU 决定。多指标不会「求和」,只会「取 max」——每多一个指标就多一个可能的瓶颈维度,配少了反而更可控。
指标链路排障清单
指标相关的伸缩问题,九成能归到「链路太长」:
- 采集缺失:metrics-server 或适配器 Pod 是否就绪?适配器的配置与规则是否加载?先查适配器日志,再查 HPA。
- 口径漂移:同一指标在聚合 API 层返回的值与后端查询结果是否一致?适配器规则是否命中了正确的标签与对象?
- 延迟过大:从「业务指标变化」到「HPA 看到新值」的时间,用 curl 打聚合 API 对比时间戳即可量出来。
- 降级静默:HPA 一直不动时先看
status.conditions——是FailedGet*还是AbleToScale=False?前者是指标链路问题,后者是 Scale 子资源问题。 - 指标源自身故障:自定义指标依赖的 Pod(如 Prometheus)若被调度到异常节点,整条链路都会抖——指标源自己也要上 PDB 与反亲和。
一张自查顺序表:看 conditions → 打聚合 API → 看适配器日志 → 看后端查询,四步就能把「指标问题」从「伸缩问题」里剥出来。
排查时记得先确认「这个 HPA 到底在等哪个指标」——一个配了三个指标的 HPA,任何一个出问题都会表现为「副本数异常」,逐指标验证才能定位是哪一个。
三个常见误解
- 「metrics-server 保存历史,能回溯一周的 CPU」——错误。它只保留内存中的短期窗口,重启即失;查历史要接 Prometheus 等 TSDB,那是另一套系统。
- 「自定义指标是云厂商专属的」——错误。
custom.metrics.k8s.io与external.metrics.k8s.io是标准 API,任意适配器都能接入,云厂商只是常见实现之一。 - 「指标源挂了,HPA 会把副本缩到最小」——错误。取不到指标时 HPA 沿用最近有效值并记录失败条件,不伸缩;「没证据不动」是降级的默认语义。
本节 lab
本节把「指标数值 → 期望副本的比例计算 + 上下限夹取」落到 autoscaler 的 DesiredReplicas 与 Scale,用两个用例验证:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run 'TestHpaDesiredReplicasDouble|TestHpaClampMinMax' -v
TestHpaDesiredReplicasDouble 验证的是「无论指标来自哪种来源,进入公式的都是一个利用率数字」——Resource、自定义、外部指标最终都折算成这个数字,比例映射一样。TestHpaClampMinMax 验证期望 30 被夹到 max 20、期望 0 被夹到 min 3——降级与策略边界发生在公式之后。指标来源的差异只影响「利用率数字有多新鲜」,不影响「拿到数字后怎么算」。
反过来看,如果指标源返回异常(超时、5xx),DesiredReplicas 收不到输入,回路就维持现状——对应本节的降级语义。这个用例把「指标来源差异不影响计算」固定在代码里:公式只认数字,不认来源。
对生产集群而言,指标源与公式的关系可以概括成一句:聚合层保证「有地方取」,适配器保证「取得到」,公式只负责「算得对」——三层职责各有各的故障面。
一句话总结本节
HPA 的指标按 Resource/自定义/外部三层组织,统一经聚合 API 接入、后端可插拔;metrics-server 提供近实时的 CPU/内存快照而不存历史,取不到指标时 HPA 沿用最近值、不伸缩。指标来源决定信号的延迟与口径,进而决定稳定窗口与容忍带的取值——11.3 就围绕「信号滞后与伸缩振荡」展开,到那时「指标新鲜度」会成为稳定窗口取值的第一个输入。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。