以下失败阈值与冷却时长为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“关闭→打开→半开→关闭的状态机、快速失败防压垮"这两条不变,具体阈值与冷却按下游真实行为实测。
11.1 把失败分了类,这一节处理可重试失败最危险的形态:无限重试。熔断器把"无限重试"变成"阶段性的重试”。三态状态机——关闭、打开、半开——让重试从失控变成可控。
熔断器三态
熔断器是重试的节流阀,三态各管一段:
| 状态 | 行为 | 含义 |
|---|---|---|
| 关闭 | 正常调用,失败计数 | 下游看起来正常 |
| 打开 | 快速失败,不再调用 | 下游可能坏了 |
| 半开 | 放行少量试探 | 试探下游恢复没 |
关闭不是无条件的。 关闭状态下每个失败都在计数,连续失败累积到阈值,状态翻到打开。打开才是熔断的意义——不再把请求压给正在故障的下游,而是直接快速失败,让下游喘息。
三态转换
状态转换是熔断器的全部逻辑:
| 转换 | 触发 | 结果 |
|---|---|---|
| 关闭→打开 | 连续失败 ≥ 阈值 | 快速失败 |
| 打开→半开 | 冷却期结束 | 放行试探 |
| 半开→关闭 | 试探成功 | 恢复正常 |
| 半开→打开 | 试探失败 | 继续快速失败 |
冷却期是关键参数。 打开之后不是永远拒绝,而是等冷却期——给下游恢复的时间。冷却期一过转半开,放行少量请求试探。试探成功说明下游好了,回到关闭;试探失败说明还没好,继续打开。
最小实验:三态状态机
实验提供 CircuitBreaker:call 按状态处理每次调用,run_sequence 模拟一串成功/失败结果驱动状态迁移。
# file: agp_lab/circuit_breaker.py | write
# tier: 3
# verify: python3 -m unittest tests.test_circuit_breaker
"""重试、熔断与降级:把"无限重试"变成"阶段性的重试"。
熔断器三态:关闭(正常)、打开(快速失败)、半开(试探放行)。
本模块模拟连续失败的请求如何让熔断器从关闭到打开、冷却后半开、
成功后关闭,量化重试被熔断拦截的次数。
"""
from __future__ import annotations
from typing import Any
class CircuitBreaker:
def __init__(self, failure_threshold: int = 3, cooldown: int = 5) -> None:
self.failure_threshold = failure_threshold
self.cooldown = cooldown
self.state = "closed"
self.failures = 0
self.tick = 0
def tick_advance(self) -> None:
self.tick += 1
def call(self, success: bool) -> str:
if self.state == "open":
if self.tick - self.opened_at >= self.cooldown:
self.state = "half_open"
else:
return "fast_fail"
if self.state in ("closed", "half_open"):
if success:
self.failures = 0
self.state = "closed"
return "success"
self.failures += 1
if self.failures >= self.failure_threshold:
self.state = "open"
self.opened_at = self.tick
return "opened"
return "retryable"
return "fast_fail"
def run_sequence(breaker: CircuitBreaker, outcomes: list[bool]) -> list[str]:
results: list[str] = []
for outcome in outcomes:
breaker.tick_advance()
results.append(breaker.call(outcome))
return results
def demo() -> dict[str, Any]:
breaker = CircuitBreaker(failure_threshold=3, cooldown=5)
first_burst = run_sequence(
breaker, [False, False, False, True, True]
)
breaker2 = CircuitBreaker(failure_threshold=3, cooldown=5)
burst_with_cooldown = run_sequence(
breaker2, [False, False, False, False, False, False, False, True]
)
return {
"open_after_3_failures": first_burst,
"final_state_first": breaker.state,
"cooldown_recovery": burst_with_cooldown,
"final_state_second": breaker2.state,
}
if __name__ == "__main__":
for key, value in demo().items():
print(f"{key}: {value}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.circuit_breaker
输出:
open_after_3_failures: ['retryable', 'retryable', 'opened', 'fast_fail', 'fast_fail']
final_state_first: open
cooldown_recovery: ['retryable', 'retryable', 'opened', 'fast_fail', 'fast_fail', 'fast_fail', 'fast_fail', 'success']
final_state_second: closed
四条输出对应四件事:
- open_after_3_failures:两次可重试失败后第三次失败触发
opened,之后请求fast_fail。连续失败到阈值,熔断打开。 - final_state_first:第一串结束时状态是 open。打开后持续快速失败,不再压下游。
- cooldown_recovery:更长序列——3 次失败打开、冷却期快速失败 4 次、第 8 次
success。冷却后半开放行,成功恢复。 - final_state_second:第二串结束时状态是 closed。成功让熔断回到关闭,循环完成。
一个值得点破的细节:cooldown_recovery 里的 success 出现在一串 fast_fail 之后——它不是随机的成功,而是半开状态放行的试探。冷却期过了,熔断器才敢放一个请求进去;这个试探成功,状态才从半开回关闭。如果试探失败,状态会弹回打开再等一轮冷却——恢复不是一次成功就尘埃落定,而是一轮一轮试探出来的。
阈值与冷却的配合
两个参数要一起调。阈值决定"多快熔断",冷却决定"多久恢复"。阈值太小,偶发抖动就熔断,把正常请求快速失败掉;阈值太大,下游已经病了还在硬扛。冷却太短,还没恢复就试探,失败概率高;冷却太长,下游好了也白白等。
| 参数 | 调小 | 调大 |
|---|---|---|
| 失败阈值 | 更敏感,易误熔断 | 更迟钝,故障暴露久 |
| 冷却时长 | 恢复快,试探早 | 恢复慢,试探稳 |
参数要跟着下游的故障模式走。 下游是瞬时抖动(超时),阈值放宽、冷却放短;下游是持续故障(进程挂),阈值收紧、冷却放长。参数是配置,不是代码常量——熔断器要支持按下游调。
熔断与重试预算
熔断器和重试要配合。重试负责"试几次",熔断负责"试的窗口"。没有熔断,重试可能无限试;没有重试,熔断只挡不试,下游好了也接不回来。两者的分工:重试在关闭态内试,熔断在打开态外拒。 一个完整的策略是:关闭态重试 ≤ 2 次,连续失败到 3 次熔断,冷却 5 个窗口后试探。
熔断与 11 章其他机制的接口
熔断消费 11.1 的分类、服务 11.3 的合成。可重试失败喂给熔断计数——不是所有失败都计数,只有可重试的失败累积才会打开熔断(11.1);熔断打开时的快速失败,要让上层 11.3 的合成器知道——一个子任务被熔断拒绝,合成器把它当失败计入补偿计划。熔断是重试与降级之间的闸门:关闭态允许重试,打开态强制降级。
熔断的可观测性
熔断状态是最值得观测的信号之一。追踪(12.1)要记录每次 fast_fail 与状态迁移——熔断打开是下游故障的早期信号,比错误日志更早、更明确。状态分布能指示健康度:一个下游长期停在打开态,说明它在持续故障,要人工介入而不是等试探。熔断器要把状态机暴露成可查询的信号,而不是藏在调用里。
熔断与超时的配合
熔断管连续失败,超时管单次等待。一次调用超时了,是重试还是计失败? 通常超时算一次失败,重试另算一次——但要防"一次超时重试成三次失败":一个慢请求触发 3 次失败,把熔断误打开。慢请求与真故障要区分:区分不了,就放宽阈值或引入慢请求保护。
| 请求类型 | 熔断影响 |
|---|---|
| 真失败 | 计失败,累积打开 |
| 超时重试 | 一次超时可能变多次失败 |
| 慢请求 | 不失败但拖延迟 |
超时与失败要分开统计。 熔断器只数真失败,超时另计——这样慢请求不会误触发熔断,真故障又能及时打开。统计口径是熔断正确性的细节,写进实现别默认。
半开窗口的试探量
半开放行几个试探,是设计决策。试探太少,一次成功就恢复,但可能是侥幸;试探太多,失败时又压了一轮下游。折中是固定比例:打开期间放行 1-2 个试探,成功率过半才回关闭。
| 试探量 | 风险 |
|---|---|
| 1 个 | 一次成功可能侥幸 |
| 2-3 个 | 平衡 |
| 全部 | 又压一轮下游 |
半开的恢复判定要过半数。 1 个试探成功不代表下游恢复——它可能刚好命中幸存实例。放行多个试探、多数成功才回关闭,恢复判定才可靠。这与 10.2 的多数仲裁是同一个直觉:结论要过人头。
熔断参数的调优
阈值与冷却要随实测调。调优的依据是失败分布——连续失败多(真故障),阈值收紧;偶发抖动多(瞬时超时),阈值放宽。调优不是拍脑袋,是看数据:12.1 的追踪记录每次失败与熔断事件,12.3 的统计对比调参前后的错误率。
| 信号 | 调参方向 |
|---|---|
| 连续失败占比高 | 阈值收紧 |
| 偶发抖动占比高 | 阈值放宽 |
| 恢复慢 | 冷却放短 |
熔断参数是配置不是代码。 每个下游一组参数,按实测调整。熔断器的观测接口(12.1)要让状态迁移可见,调优才有数据。
熔断的分组
熔断要按下游分组。不同下游各自的熔断器——支付下游熔断,不牵连搜索下游。一个全局熔断器,一个下游故障就全系统快速失败;按下游分组,故障半径缩小。分组粒度是架构决策:太细维护多,太粗故障波及广。
| 分组 | 故障半径 | 维护 |
|---|---|---|
| 全局 | 大 | 少 |
| 按下游 | 小 | 中 |
| 按方法 | 最小 | 多 |
分组与 9.1 的拓扑呼应——熔断分组跟着拓扑走:星型拓扑的中心下游最需要独立熔断,因为它故障波及面最大。
熔断与降级
熔断打开后,请求怎么降级?快速失败是一种降级(最硬),还有软降级:走缓存、走备用下游、返回上次结果。软降级保留可用性,但要用旧数据(要 8.2 的版本意识)。熔断的状态要决定降级程度——刚打开走缓存,冷却后半开放行试探。
| 熔断状态 | 降级 |
|---|---|
| 刚打开 | 缓存/备用 |
| 打开已久 | 快速失败 |
| 半开 | 试探放行 |
架构判据
熔断是否合格,用五条判据检查:
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 三态齐全 | 关闭/打开/半开都实现 | 只有开与关 |
| 阈值可配 | 阈值按下游调 | 固定常量 |
| 冷却可配 | 冷却时长可调 | 冷却写死 |
| 快速失败明确 | 打开态不再调用 | 打开态继续压 |
| 恢复有路径 | 半开试探能回关闭 | 打开后永不复原 |
判据第一条是"三态缺一不可",判据第三条才是关键:冷却期是打开与恢复之间的桥——没有冷却,打开态要么永远拒绝要么立刻重压。判据第五条是闭环:熔断器必须能从打开回到关闭,否则一次故障就永久降级。
小结
- 熔断器三态:关闭正常、打开快速失败、半开试探放行。
- 连续失败到阈值熔断打开,打开后请求快速失败。
- 冷却期后转半开,试探成功回关闭、失败继续打开。
- 阈值与冷却按下游故障模式配置,不是固定常量。
- 重试管"试几次",熔断管"试的窗口",两者配合。
阅读导航:上一节:11.1 失败分类与扩散 · 下一节:11.3 部分结果合成与补偿 。
常见错误与边界
- 无限重试。 没有熔断,可重试失败无限试,把故障放大。
- 只有开与关。 缺半开状态,打开后没有试探恢复的路径。
- 阈值写死。 不同下游故障模式不同,阈值要按下游配。
- 冷却不配。 冷却太短试探太早、太长恢复太慢。
- 打开态还压下游。 熔断的意义就是打开后快速失败,继续调用等于没熔断。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。