以下失败类型与扩散路径均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“失败先分类、分类决定扩散"这两条不变,具体类型映射按真实错误码与系统行为实测。
10.3 讲了死锁怎么防,这一节进容错的第一课:失败怎么对待。失败不是一种,而是四类。分类决定失败如何扩散——可重试的恢复、可忽略的吸收、可补偿的记账、致命的终止。失败处理的第一步是分类,分类错了,后面全错。
失败的四分类
失败先分类,四类对应四种对待方式:
| 类型 | 特征 | 对待方式 |
|---|---|---|
| 可重试 | 暂时性,重试可能成功 | 重试 |
| 可忽略 | 不影响最终目标 | 吸收 |
| 可补偿 | 有副作用,需回滚 | 记补偿计划 |
| 致命 | 不可恢复 | 终止扩散 |
分类决定动作。 把致命失败当可重试,会无限重试;把可补偿当可忽略,副作用残留;把可忽略当致命,小失败拖垮整条链。分类的准确性是容错正确性的前提。
扩散路径
失败不是停在原地,会沿调用链扩散。扩散路径由类型决定:
| 场景 | 扩散路径 | 终点 |
|---|---|---|
| 可重试恢复 | 失败→重试→成功 | 在 worker 停止 |
| 致命 | 一路向上 | 到达源,终止 |
| 可忽略 | 被吸收 | 在 cache 停止 |
扩散要跟踪。 谁传的、在哪停的、最终到没到源——这些要显式记录成路径。一条失败扩散链就是一次故障的完整病历:从第一次失败到最终处理,每个环节都看得见。
最小实验:按类型跟踪扩散
实验提供 classify(失败类型映射)与 propagate(沿链跟踪扩散,‘ok’ 停止、fatal 记录 fatal_at)。
# file: agp_lab/failure_propagation.py | write
# tier: 3
# verify: python3 -m unittest tests.test_failure_propagation
"""失败分类与传播路径:什么失败会扩散、如何被边界拦截。
不是所有失败都值得重试或传播。本模块按"可重试、可补偿、可忽略"
三档分类失败,模拟失败在调用链上传播,并演示拦截点在每一层的
效果:失败被吞掉、被升级、或被边界吸收。
"""
from __future__ import annotations
from dataclasses import dataclass
from typing import Any
@dataclass(frozen=True)
class Failure:
source: str
kind: str # retryable / compensable / ignorable / fatal
def classify(kind: str) -> str:
if kind in ("timeout", "rate_limited"):
return "retryable"
if kind in ("validation", "not_found"):
return "ignorable"
if kind == "side_effect_partial":
return "compensable"
return "fatal"
def propagate(chain: list[Failure]) -> dict[str, Any]:
"""按层传播失败,记录每一层是否拦截。"ok" 表示该层恢复、失败停止。"""
seen: list[str] = []
fatal: str | None = None
stopped_at: str | None = None
for failure in chain:
seen.append(f"{failure.source}:{failure.kind}")
if failure.kind == "ok":
stopped_at = failure.source
break
action = classify(failure.kind)
if action == "fatal":
fatal = failure.source
break
return {
"propagated_through": seen,
"fatal_at": fatal,
"stopped_at": stopped_at,
}
def demo() -> dict[str, Any]:
retry = propagate([
Failure("worker", "timeout"),
Failure("worker", "timeout"),
Failure("worker", "ok"),
])
fatal = propagate([
Failure("db", "validation"),
Failure("engine", "side_effect_partial"),
Failure("db", "corruption"),
])
absorbed = propagate([
Failure("tool", "not_found"),
Failure("cache", "not_found"),
Failure("cache", "ok"),
])
return {
"retryable_recovered": retry,
"fatal_propagated": fatal,
"ignorable_absorbed": absorbed,
"classify_samples": {
"timeout": classify("timeout"),
"validation": classify("validation"),
"side_effect_partial": classify("side_effect_partial"),
},
}
if __name__ == "__main__":
for key, value in demo().items():
print(f"{key}: {value}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.failure_propagation
输出:
retryable_recovered: {'propagated_through': ['worker:timeout', 'worker:timeout', 'worker:ok'], 'fatal_at': None, 'stopped_at': 'worker'}
fatal_propagated: {'propagated_through': ['db:validation', 'engine:side_effect_partial', 'db:corruption'], 'fatal_at': 'db', 'stopped_at': None}
ignorable_absorbed: {'propagated_through': ['tool:not_found', 'cache:not_found', 'cache:ok'], 'fatal_at': None, 'stopped_at': 'cache'}
classify_samples: {'timeout': 'retryable', 'validation': 'ignorable', 'side_effect_partial': 'compensable'}
四条输出对应四件事:
- retryable_recovered:两次 timeout 之后一次 ok,路径
['worker:timeout', 'worker:timeout', 'worker:ok'],fatal_at是 None,在 worker 停止。可重试失败重试后恢复,不扩散到上游。 - fatal_propagated:路径一路到
db:corruption,fatal_at是 db,stopped_at是 None。致命失败扩散到源并终止——不是在某处被吸收,而是整个链条停在这里。 - ignorable_absorbed:
not_found两次后被 ok 吸收,在 cache 停止。可忽略失败被吸收,不打扰上游。 - classify_samples:
timeout→可重试、validation→可忽略、side_effect_partial→可补偿。分类表是扩散的前提,每个失败先落一个类。
一个值得点破的细节:fatal_propagated 里 db 先报 validation(可忽略),后来报 corruption(致命)——同一个节点可以在不同阶段报不同类别的失败。分类不是绑定节点,而是绑定"这一次失败的性质”。而 retryable_recovered 里 stopped_at: worker 说明恢复发生在源头——可重试失败恢复得越早,扩散范围越小。
分类的边界
分类表不是死的,边界要显式处理。同一类失败在不同上下文里可能不同:写入的 validation 失败可重试(改格式重试),读出的 validation 失败可忽略(数据已不存在)。分类要带上下文,不能只凭错误码一刀切。
| 上下文 | validation | 处理 |
|---|---|---|
| 写入 | 输入不对 | 可重试(修正后重试) |
| 读取 | 键不存在 | 可忽略 |
| 清理 | 已删除 | 可忽略 |
分类与 11 章其他机制的接口
分类是容错的地基,后面的机制都消费它。可重试失败喂给熔断器(11.2)——连续可重试失败累积到阈值,熔断器打开;可补偿失败喂给补偿器(11.3)——记入补偿计划,成功后执行回滚。分类先行,熔断与补偿才有输入——没有分类表,熔断器不知道数什么失败,补偿器不知道补偿什么。
分类与可观测性
失败分类让可观测性有意义。追踪(12.1)记录失败事件,分类表让事件变成可聚合的信号——“可重试失败比例升高"比"一堆错误"更可行动。审计(13.3 的可靠性视角)要能按类型统计失败分布:哪类失败最多、哪类扩散最广。分类是把失败从"噪声"变成"信号"的关键——没有分类,日志里只有一屏错误;有了分类,错误有了类别与动作。
超时是失败的一种
超时是最难分类的失败。超时可能是对方慢了,也可能是对方挂了——分类表把它归为可重试,但重试多少次、多久再试,要有策略。超时重试要配退避:固定间隔退避(每次等一样久)、指数退避(越退越久)、抖动退避(随机防风暴)。
| 退避 | 行为 | 适用 |
|---|---|---|
| 固定 | 等固定时长 | 系统简单 |
| 指数 | 每次加倍 | 下游波动 |
| 抖动 | 随机上下 | 防同步风暴 |
重试的策略上限是关键。 可重试不代表无限重试——上限次数、上限时间,超过就当致命处理(11.2 的熔断就是这一步)。超时分类把"该重试"说清楚了,重试策略把"重试到什么程度"说清楚,两者缺一不可。
重试风暴
多个调用方同时重试,可能压垮下游。每个调用方重试 3 次,10 个调用方就是对下游的 30 次冲击——重试风暴比原始故障更危险。防风暴要靠:抖动退避(错开重试时刻)、熔断(11.2,下游故障时快速失败)、限流(13.2,控制重试总量)。
| 防线 | 防什么 |
|---|---|
| 抖动退避 | 同步重试 |
| 熔断 | 连续失败压垮 |
| 限流 | 重试总量失控 |
重试风暴是 9.2 通信成本的放大版——失败时消息数不降反升。失败处理设计要算"失败时的消息量”,而不是只算正常态。
失败预算
给失败定预算。“每小时可容忍多少失败”——超过预算就要人工介入或降级。失败预算把"容错"从无限(反正能重试)变成有限(超过就要行动)。预算按错误率定:5% 的错误率可以接受,超过就触发告警、降级。
| 预算 | 行为 |
|---|---|
| 预算内 | 正常重试 |
| 超预算 | 告警 |
| 严重超 | 降级或熔断 |
失败预算与 11.2 的熔断、12.3 的统计衔接——熔断是单点失败护栏,失败预算是全局失败护栏;统计(12.3)算的误差界,可以当预算的定级依据。
架构判据
失败分类是否合格,用五条判据检查:
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 分类表明确 | 每类失败有定义 | 失败无法归类 |
| 分类带上下文 | 同类不同语境不同处理 | 错误码一刀切 |
| 扩散可跟踪 | 路径显式记录 | 失败去向不明 |
| 恢复记录终点 | 知道在哪停止 | 失败消失无交代 |
| 分类供下游消费 | 熔断补偿有输入 | 分类表悬空 |
判据第一条是"失败必须能落类",判据第三条才是关键:扩散要显式跟踪,谁传的、在哪停的要写进路径。判据第五条是 11.1 与 11.2、11.3 的接缝——分类表不消费,就等于没分类。
小结
- 失败先分类:可重试、可忽略、可补偿、致命。
- 分类决定扩散:可重试恢复、可忽略吸收、致命终止。
- 扩散路径要显式跟踪,构成故障的完整病历。
- 分类带上下文,不能只凭错误码一刀切。
- 分类供熔断与补偿消费,是容错的地基。
阅读导航:上一节:10.3 死锁:环检测与预算 · 下一节:11.2 熔断器三态与恢复 。
常见错误与边界
- 失败无法归类。 没有分类表,后面所有容错机制没有输入。
- 错误码一刀切。 同一错误码在不同上下文性质不同,要带上下文分类。
- 扩散去向不明。 失败传了就没记录,故障复盘无从下手。
- 把致命当可重试。 无限重试一个不可恢复的失败,把故障放大。
- 分类表悬空。 分类了但熔断补偿不消费,等于没分类。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。