《后端架构设计·演进与治理》8.2 演练设计:稳态假设、爆炸半径与止损
把一次“指标看起来还行”的失败演练拆成可证伪的稳态假设:区分业务主张与护栏信号,用连续越界窗口和最小样本数抑制噪声,再给出独立于实验结论的止损决策 Go 实现与固定时钟测试,并解释为什么止损路径必须 fail closed 而不能只靠人工盯盘。
tag
把一次“指标看起来还行”的失败演练拆成可证伪的稳态假设:区分业务主张与护栏信号,用连续越界窗口和最小样本数抑制噪声,再给出独立于实验结论的止损决策 Go 实现与固定时钟测试,并解释为什么止损路径必须 fail closed 而不能只靠人工盯盘。
从 arch-lab 订单系统一次按实例比例审批、却在网络层故障中放大到全链路的事故切入,区分进程、网络、依赖与区域四层注入各能证明什么,给出按拓扑计算真实爆炸半径、检查关键状态转换损失并在超预算时拒绝执行的 Go 实现与表驱动测试,全部代码在本机跑通。
支付回调超时后,Cancel 可能先于 Try 到达,造成空回滚;迟到的 Try 又可能永久占住库存,形成悬挂。本文用订单预占场景实现带墓碑与状态机的 TCC,并用同库本地消息表让 TRYING、CONFIRMED、CANCELLED 对下游可见,给出空回滚、悬挂、幂等与中间态查询的可运行测试。
订单 Saga 失败时,“把前面的步骤反向调用一遍”看似简单,实际补偿是新业务动作,可能失败、可能不幂等,也挡不住并发请求读到中间态。本文用库存预留、支付扣款与发券场景,给出带语义锁、逆序补偿和不可补偿步骤校验的可运行 Go 实现,并列出把不可逆动作前移或改为可重试的判据。
订单与库存、支付分库后,两阶段提交常被当成“分布式事务的标准答案”。本文用一次下单说明它真正保证的是原子提交而不是不阻塞,给出参与者日志、协调者决策日志与崩溃恢复的可运行 Go 实现,复现 in-doubt 窗口,并用判据表比较 2PC、3PC 与补偿型方案。
从订单链路三个依赖各承诺 99.95% 却算不出 99.9% 的矛盾切入,说明串联可用性复合、调用放大对预算的重复消耗、按调用次数分摊错误预算的构造性算法与可行性检查,给出可运行的 Go 实现、固定输入测试和本机真实输出,并讨论相关故障为何会让乘积失效。
从大促前两周错误预算只剩 8% 却仍要发版的争议切入,说明错误预算的算术、燃尽速率与多窗口判据,给出 allow、canary-only、freeze 三档发布门禁的可运行的 Go 实现、固定时钟的测试与本机真实输出,并讨论冻结的退出条件。
从 arch-lab 订单看板显示 99.97% 而用户仍在投诉的场景切入,说明 SLI 的观察点应靠近用户、分母只放用户发起的有效事件、窗口长度要匹配决策周期,并给出滚动与日历窗口差异、无数据判据、可运行的 Go 实现与本机真实测试输出。
从库存只剩一件却被两个请求同时卖出的场景出发,把库存不超卖、订单状态单向推进、支付不重复扣款写成可执行谓词,再用故障注入反推每种不变量需要的最弱一致性模型,附条件更新、版本 CAS 与幂等扣款的 Go 实现和判据表,让每条规则都能被测试直接断言。
从下单成功却在订单列表看不到新订单的场景出发,实现基于全局版本水位与副本 applied 位点的会话层,逐项测试读己之写、单调读、单调写与一致前缀,并说明粘性路由为何只是优化而不是保证,附订单读路径的选型表,可直接对照本节的测试用例落地与排障。
用支付成功后订单状态又被读回旧值的场景,区分线性一致、顺序一致与因果一致的形式判据;实现可回溯的历史检查器,用三类历史分别判定线性一致违例、顺序一致但非线性的执行,以及跳过因果上更晚写入的读,并给出订单链路的模型选型表,帮助在支付强一致与展示弱一致之间做取舍。
从 arch-lab 订单系统一次 40 分钟才定位的支付超时切入,说明指标、日志、追踪与变更记录各自能回答什么,给出按 trace exemplar 关联时间线、用半衰期和独立信号加成排序候选原因的 Go 实现,并复盘示例事故的排序结果与歧义出口。
从 arch-lab 订单系统一条只剩半截的支付链路切入,对比头部采样、尾部采样与父级透传的决策点与成本,给出 W3C traceparent 解析、一致性比例采样和跨三服务传播的 Go 实现,并用 10 万个 trace ID 跑出 10.02% 的本机采样率。
从 arch-lab 订单系统一次错误率告警查不到数据的事故切入,说明日志、指标与追踪为什么需要同一套属性 schema,给出按名字、类型、基数与敏感度校验语义约定的 Go 实现,并用 4 条事件和 8 类违规跑出本机可复现的拒绝率与稳定排序。
从扩容时客户端仍按旧元数据把订单写进旧分片的具体故障出发,说明路由版本传播、陈旧路由失效与重试收敛,给出带版本保护和权威解析的 Go 路由实现,并用 1000 万请求窗口实测错误预算、解析失败率与熔断阈值之间的数量关系,附可复现测试输出与扩容决策表。
从订单迁移时“先停写再搬数据”的错误直觉出发,把再平衡拆成快照、双写、回填、校验、切换五个阶段,给出可重入的 Go 迁移状态机与版本条件写入,并用 100 个订单键实测迁移中断后的续跑、双写不丢更新、回填未完成时拒绝切换,以及回滚后写回源分片的完整路径,附原始测试输出与阶段判据。
从订单按 order_id 还是 user_id 分片的具体取舍出发,说明分片键的业务约束与热点识别,给出带虚拟节点的一致性哈希 Go 实现,并用 10 万个订单键实测分布均匀性、虚拟节点降偏斜与 4→5 扩容的迁移比例,附可复现命令、原始输出与扩容判据。
从 arch-lab 订单系统一次乱序推送把实例配置从 v87 拉回 v85 的事故切入,对比推送与轮询的延迟、一致性和故障面,给出以版本水位拒绝陈旧快照、区分重复与冲突、并用新版本重发旧内容实现回滚的 Go 实现与本机可复现的真实测试输出。
用 arch-lab 订单系统一个上线九个月仍未删除的 checkout-v2 开关开场,区分发布、实验、运维和权限四类开关的生命周期,给出开关求值、过期检测以及缺失责任人、过期时间和清理工单的债务审计 Go 实现,并附 6 个开关样本的真实测试输出。
从 arch-lab 订单系统一次库存预占参数被直接改环境变量的事故切入,拆开默认、环境、实例三层配置的职责与合并优先级,给出带来源追溯的合并、配置版本号与按实例分桶的灰度发布 Go 实现,并附 1 万个合成实例的分桶与 50% 分流实测输出。