《AI Agent 工程实战》18.2 故障演练:模型超时/DB 宕机/队列积压
设计三个受控故障演练:模型超时(假模型注入延迟,验证超时止损与降级链)、DB 不可达(连不存在的端口,验证 readiness 摘流量与明确报错)、队列积压(往队列塞远超消费能力的任务,验证背压与告警)。每个都写清注入方式、预期表现、观测点、恢复动作与复盘问题,并逐个在本机真跑贴出日志、耗时与队列深度,最后给出复盘模板表。
tag
设计三个受控故障演练:模型超时(假模型注入延迟,验证超时止损与降级链)、DB 不可达(连不存在的端口,验证 readiness 摘流量与明确报错)、队列积压(往队列塞远超消费能力的任务,验证背压与告警)。每个都写清注入方式、预期表现、观测点、恢复动作与复盘问题,并逐个在本机真跑贴出日志、耗时与队列深度,最后给出复盘模板表。
「高可用」不能靠假设,只能靠演练验证。本节真的把 TaskHub 的依赖停掉、注入延迟、再恢复,用真实数据检验它的失败行为:docker stop 掉 Postgres 后 30 次查询全部快速失败(1~3ms,无挂起),恢复后 30/30 成功;代码注入 2 秒延迟后 200/200 请求在 500ms 超时处被截断,P99 从 6ms 升到 508ms。
新版本不该一次性推给所有用户。本节讲灰度发布的三种流量切分(按比例/按用户/按头)并用纯 Python 实测稳定哈希分流与自动准入判定,讲不可变镜像 tag 回滚与数据库前向兼容(expand-contract)约束,最后给出一份可执行的故障演练清单与复盘模板。
深入生产环境测试工程:测试左移到生产的正当性与边界、金丝雀发布与渐进放量、暗发布(Dark Launch)、影子流量测试(Shadow)、生产流量录制与回放、混沌工程在生产的规范、生产验证的观测与回滚,构建面向生产的安全测试体系。
故障注入与演练:混沌工程落地、故障注入工具(Chaos Mesh/Litmus)、演练编排与爆炸半径控制、与监控联动
SRE 运维体系从 0 到 1:SLI/SLO/错误预算设计、混沌工程实验框架(Chaos Mesh/Litmus/Chaos Monkey),以及生产级故障演练与复盘体系。
现代分布式系统由成百上千的微服务、数据库、消息队列、缓存节点交织而成。随着业务规模扩张,任何单点故障都可能引发级联失效,导致服务全面瘫痪。传统测试手段难以复现真实世界的复杂故障场景,而混沌工程(Chaos Engineering)通过有意地在生产环境中引入故障,来验证系统的韧性与自愈能力。
全面解析高可用架构设计原则,涵盖多可用区部署、主动-主动/主动-被动多活架构、故障检测与自动转移、RTO/RPO目标设定、混沌工程等实战指南。