事故响应与复盘:五分钟止损、一天说明、七天复盘
一个人处理事故,最缺的不是技术,是顺序。本文把四次事故的 138 分钟拆成回滚、开关、数据库恢复与依赖故障四段,给出五分钟内三选一的止损判据、24 小时说明与七天复盘的模板,并复算把 82 分钟恢复压到 30 分钟后的可用性。
tag
一个人处理事故,最缺的不是技术,是顺序。本文把四次事故的 138 分钟拆成回滚、开关、数据库恢复与依赖故障四段,给出五分钟内三选一的止损判据、24 小时说明与七天复盘的模板,并复算把 82 分钟恢复压到 30 分钟后的可用性。
故障时的沉默会被解读成更大的故障。本文给出正常、维护、降级、部分故障、重大故障五种状态,三条公告模板与 15 分钟首发、30 分钟更新的节奏,并并按 34/120 的受影响面复算单次 36 分钟、全年 2.4 小时的沟通成本与恢复公告写法。