本附录是卷一的评审工具:六项清单,每项 0/1/2 分;三项阻断项单独判定,不参与总分掩盖。
全书的评审共三卷。卷一用第 1–6 项(能力模型),卷二用第 7–12 项(决策与记忆),卷三用第 13–18 项(运行时与治理)。
一、怎么打
- 由三人独立打分再对齐:模型负责人、应用负责人、安全/运维负责人。一人打分不算评审。
- 每项只回答"有没有",不回答"好不好"。好不好已经在 2 分的定义里了。
- 0 分表示"完全没有",不是"做得差"。差但有,给 1 分。
- 打完先看有没有 0 分项——0 分项必须在上线前解决,不参与补分权衡。
- 阻断项(第 1、3、6 项)未满足,无论总分多高,结论都是 blocked。
二、六项清单
| # | 项 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|---|
| 1* | 能力卡 | 没有边界文档 | 有边界描述,不成表 | 一页能力卡:能/不能/成本/延迟/回放 |
| 2 | 失败模式 | 只说"会出错" | 列出两三种 | 分类(事实/引用/执行)且各有防线 |
| 3* | 评测集 | 没有评测 | 有评测无脚本 | 分层、可复现、有基线的评测集 |
| 4 | 成本模型 | 不算成本 | 知道单价 | 单请求成本与 TCO 都可算 |
| 5 | 回放计划 | 失败不可查 | 有日志 | 记录、回放或审计方案可执行 |
| 6* | 人工升级 | 错误无出口 | 有升级概念 | 高风险/不确定时能转人工 |
带 * 的是阻断项:不满足就不能上线,无论总分多高。
三、结论判定
| 输入 | 输出 |
|---|---|
| 任一阻断项未满足 | blocked |
| 阻断项全满足,通过率 ≥ 0.8 | pass |
| 阻断项全满足,通过率 < 0.8 | revise |
总分衡量完备度,阻断项衡量底线。一个清单 5/6 通过、但有阻断项未满足,结论是 blocked 而不是"83 分可上线"。
四、三负载逐项示例
| # | 项 | W1 检索问答 | W2 代码修复 | W3 运维处置 |
|---|---|---|---|---|
| 1* | 能力卡 | 2 | 2 | 2 |
| 2 | 失败模式 | 2 | 1 | 2 |
| 3* | 评测集 | 2 | 2 | 1 |
| 4 | 成本模型 | 2 | 1 | 2 |
| 5 | 回放计划 | 2 | 2 | 1 |
| 6* | 人工升级 | 1 | 1 | 2 |
| 合计 | 11/12 | 9/12 | 10/12 |
五、逐项解读
第 2 项(失败模式)W2 只有 1 分。 代码修复的失败不只是"测试没过",还有"修复引入了新 bug"与"修了无关的部分",这两类容易被漏掉。
第 3 项(评测集)W3 只有 1 分。 运维处置的评测集要含故障注入(重启后仍失败、扩容未生效),这类可复现用例难造,容易退化成"健康检查过了就算通过"。
第 5 项(回放计划)W3 只有 1 分。 不可逆动作的回放不是重放副作用,而是重放决策过程——“为什么执行了这个动作”,这是审批链上的记录,不是日志。
第 6 项(人工升级)W1/W2 只有 1 分。 两家都有"转人工"的概念,但都没写明"什么信号触发升级、升给谁、等多久"。
六、共同短板
第 6 项(人工升级)三家都没有拿满 2 分,说明这是能力模型最普遍的缺口:升级路径写得进文档,但"触发条件 + 责任人 + 时限"三件套很少齐全。
七、补分路径
可补分 = 12 − 卷得分:
| 负载 | 得分 | 可补分 | 优先补哪几项 |
|---|---|---|---|
| W1 | 11 | 1 | 第 6 项补到 2 分:写清触发条件与责任人 |
| W2 | 9 | 3 | 第 2 项补失败细分、第 4/6 项各补一档 |
| W3 | 10 | 2 | 第 3/5 项各补一档:故障注入 + 决策重放 |
补分不是均匀发力。先补 0 分项,再补"补一档就能到 2 分"的项。三家的 0 分项都已清零,下一步把 1 分项逐项推到 2 分。
八、与全书 18 项的关系
- 卷一第 1–6 项检查"能力模型":能力卡、失败、评测、成本、回放、升级;
- 卷二第 7–12 项检查"决策与记忆":策略、终止、记忆、检索、工具、学习;
- 卷三第 13–18 项检查"运行时与治理":状态、隔离、容错、观测、安全、决策记录。
三卷合计 36 分,通过线 28。W1/W2/W3 当前得分 11 / 9 / 10,合计 30/36,刚好过线——但阻断项的判定比总分更关键。
九、使用建议
- 第一次打分不要追求准确,先看有没有 0 分项。
- 阻断项不满足,直接定 blocked,别用总分掩盖。
- 评分表要存档,下一次评审对比变化,而不是重新打一遍。
- 不要把这张表当 KPI。它的用途是找缺口,不是排名。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。