《Kubernetes 分布式系统原理深入解析》12.2 APF 队列与公平性

APF 的公平不止于优先级之间,还包括优先级内部的队列语义:请求超配额时进入 FIFO 队列等待,队列保证同一优先级内的先到先服务。配额耗尽时高优先级也排队,但不被低优先级饥饿。本节解剖 APF 的队列模型、出队顺序与公平性的两层含义——优先级间公平、优先级内公平。lab 用 admission/apf.go 验证高优先级优先与队内 FIFO。

12.2 APF 队列与公平性

12.1 节讲了「请求分优先级」。本节讲优先级内部与之间的公平:请求超配额时进队列等待,队列保证先到先服务;配额隔离保证优先级之间互不饥饿。公平在 APF 里有两层含义。

队列:超配额请求的等待区

请求到达时配额可能已用完。此时请求不是被拒,而是进队列:

请求到达 → 配额够 → 立即放行
         → 配额不够 → 进 PriorityLevel 队列(FIFO)等待

lab 的 Enqueue 把请求排进队列,Dequeue 在配额允许时放行队首:

func (p *PriorityLevel) Enqueue(id string) int {
    p.requests = append(p.requests, id)
    return len(p.requests) - 1
}

排队是「延迟处理」不是「拒绝」:请求进入等待区,配额补充后按顺序放行。这对应真实 APF 的语义——超配额请求先在队列里等,等太久(超时)才可能被拒。排队给了「突发流量」消化空间:短时超载排队消化,不用立即拒绝。

FIFO:队内的先到先服务

同一优先级队列内部,出队顺序是 FIFO(先到先服务):

队:a(先到), b, c
配额 1 个:a 先出

FIFO 的公平性:同一个优先级的请求,谁先来谁先走——不偏袒任何特定请求。这防止了「后来的请求插队」导致某个客户端永远被饿死。

FIFO 是「优先级的内部公平」:优先级决定了「哪一类请求先」,FIFO 决定了「同一类里谁先」。两层加在一起,才是完整的公平。

公平的两层含义

APF 的公平性是分层的,两层缺一不可:

层保证机制
优先级之间高优先级不被低优先级饥饿配额隔离 + 高优先级先放行
优先级内部同一优先级先到先服务FIFO 队列

测试 TestAPFPriority 验证第一层(高优先级先出队);FIFO 验证第二层(同优先级按序出队)。

为什么需要两层:只分优先级不管内部顺序,一个优先级的请求可以互相插队——谁抢得快谁先走,弱势客户端被饿死;只管内部顺序不管优先级,普通列表请求可能堵死系统控制面请求。两层结合,既保重要请求,又保同一级别的公平。

配额隔离的极限:高优先级也排队

配额隔离不是「高优先级无限」。高优先级也有自己的配额:

高优先级配额 10/s,来了 15 个请求
→ 10 个立即放行,5 个进高优先级队列
→ 下个周期配额补充,5 个按 FIFO 放行

高优先级排队 ≠ 被饥饿:高优先级队列会自己消化(配额补充后放行),只是「要等一会儿」。它排队时也不会影响低优先级(配额独立)。「排队」与「饥饿」的区别就在配额——有独立配额,排队是暂时的;没有配额,排队可能是永久的。

公平性的可观测性:看队列长度

APF 的健康程度看队列长度:

队列长度含义动作
长期 0配额充足,无拥堵无
偶发 >0短时突发无(排队消化)
持续增长该优先级流量超配额扩容或调整 FlowSchema

lab 的 QueueLen() 提供了这个观测接口。队列长度是「超载程度」的标尺:它告诉你「哪些优先级在拥堵、堵了多少」。运维据此判断是「该优先级流量真的太大」还是「FlowSchema 分类错了」。

与 6.1 节 workqueue 的呼应:两端的队列

把 6.1 节和本节放一起看,控制面里有两类队列:

队列在哪一端排队什么
workqueue控制器内部控制器要 reconcile 的 key
APF 队列apiserver 内要处理的外部请求

两端的队列方向相反、目的相同:workqueue 缓冲「控制器要干的事」,APF 缓冲「apiserver 要接的请求」;两者都是「让处理方不被淹没」的缓冲。workqueue 的去重/退避是「自我节流」,APF 的队列/配额是「服务端公平」——一套「队列 + 限流 + 退避」的组合拳,同时存在于控制器的两端。

队列深度上限:防「无限排队」

队列不能无限长——每个排队的请求都占内存、都在等待。APF 给队列设了深度上限:

队列状态行为
未满请求进队等待
已满队首请求被丢弃(替代尾部丢弃的策略)

为什么丢队首不丢队尾:丢队首是「惩罚最先来的、腾空队列」——已经等的请求作废,新的请求还能进。这是 APF 的「降级」策略:超载时不是无限堆积,而是丢弃最旧的、保持队列流动。

队列上限的意义:把「等待」限制在有界范围。没有上限,超载会让队列无限增长(内存耗尽);有上限,超载表现为「丢弃」而不是「膨胀」——系统超载时的行为是可预测的:排队 → 超限 → 丢弃,而不是无限积压。

公平与突发:队列给突发留的缓冲

12.3 节讲令牌桶容忍突发,队列在突发面前也有角色:

突发 30 个请求(预算 10/s):
  前 10 个:令牌够,立即放行
  后 20 个:进队列(FIFO)
  后续:令牌补充,队列按先来后到消化

队列 + 令牌桶的组合:令牌桶决定「每秒放行几个」,队列决定「放不下的往哪放」。突发被「立即放行一部分 + 排队消化其余」处理——突发被吸收,而不是被硬拒。

这解释了为什么 APF 优于简单的每秒计数器:计数器会拒掉突发中的大部分;APF 让突发「排着队慢慢进」,只要队列不爆,突发最终都被处理。对真实工作负载(有突发),「排队 + 有界丢弃」比「硬限」公平得多。

公平的可配置性:FlowSchema 里的配额即公平

公平不全是「系统自动的」——它很大程度是配置出来的:

配置控制的公平维度
每个 PriorityLevel 的配额优先级之间的公平分配
每个 FlowSchema 的匹配哪些请求进哪个优先级
队列深度上限可容忍的等待量

「公平」在 APF 里不是一个抽象概念,而是一组可调的数字:给 system 级高配额就是「控制面优先」,给 workload 级中配额就是「业务公平」。运维调的是数字,表达的是「在这个集群里,谁多重要」。这与 12.1 节「公平是分配」是同一个思想——公平 = 配额的刻意安排。

真实 APF 的队列参数:一组可调数字

lab 把队列简化为一个切片,真实 APF 的队列配置是一组数字:

参数含义
queues每个 PriorityLevel 有几个队列
handSize请求散列到队列时参考几个队列(防热点)
queueLengthLimit队列长度上限(丢队首的阈值)

队列是「多队列 + 散列」而不是单队列:请求按特征散列到不同队列,避免「同类请求全挤一个队列」。这比 lab 的单队列更公平——多队列让不同客户端并行消化,单个客户端打爆只影响它所在的队列。

APF 的公平性不是「一个配置」,而是「一组配置的组合」:FlowSchema 定分类、PriorityLevel 定配额、queues/handSize/queueLengthLimit 定队列结构。真实排障 APF 就是调这组数字——和 12.3 节「调数字即调公平」一致。

三个常见误解

  • 「APF 超配额就拒绝」——不准确。先排队,排队消化;只有等太久才拒绝。
  • 「高优先级不排队」——错误。高优先级也排队,但有独立配额、不会被低优先级饿死。
  • 「公平就是人人一样」——错误。公平是「按优先级 + 按先来后到」——重要请求优先,同级别先到先服务。

本节 lab

本节验证优先级间的公平与队内 FIFO:

cd private/labs/k8s-ctrl-lab
go test ./admission -run 'TestAPFPriority' -v
  • TestAPFPriority:低优先级先排队,高优先级后到仍先出队——「优先级之间不饥饿」。
  • TestAPFTokenBucket 的队列部分:预算内先到先出,预算外排队等待——「优先级内部 FIFO」的节奏。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图