7.1 查询队列与 admission control
准入控制用有限的并发额度和队列保护系统。稳态平均等待、一个请求的等待、可承诺的延迟需要不同数据。
用同一系统边界估计
flowchart TB
A["请求到达"] --> P{"租户与父级资源组都有预算?"}
P -->|"有"| R["分配槽位,执行并持续计量"]
P -->|"暂不可用"| Q{"队列有空间且等待预算可行?"}
Q -->|"是"| W["入队,等可用槽位"]
W -->|"重新获得准入"| P
W -->|"超时或取消"| C["离队并清理计数"]
Q -->|"否"| J["拒绝并记录可归因原因"]
R --> D["终态释放槽位,唤醒队列"]
16 个并发槽,每次占用平均 8 秒且长期饱和,服务能力的教学近似是 2 条/秒。若稳态成功进入队列的有效吞吐为 2 条/秒,且平均排队数为 40,Little 定律给出平均排队约 20 秒。队列最大长度、剩余执行时长、突发、优先级与个体超时都会影响新到请求的等待。持续到达 50 条/秒时,若要维持该吞吐,长期必须减少约 96% 的负载,方式包括入口拒绝、限流或合并。
给队列一个可操作的预算
20 秒端到端预算先扣执行、计划和返回,还要给尾部留余量。分别记录 offered、admitted、completed、rejected、timed-out,并给队列 P95/P99 和最大等待留独立阈值。客户端重试限次并退避;超时请求离队后应释放准入计数。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。