怎么用这张表
清单按 13.3 的十二组展开,每组四项,共四十八项。三项使用规则:
- 只填三种状态。
pass、partial、fail。没有「基本通过」,也没有百分比。 - 每项必须有证据。 证据是路径、命令、查询或文档编号;「已确认」按
partial处理。 - 按组看空白。 某组四项全是
partial或fail,等价于这条线没落地,优先于其它组处理。
清单不按产品类型裁剪。不适用的项显式标 N/A,写明理由并从统计中移出;留空会被下一次评审重新问一遍。
一、玩法与任务(第 1–2 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 任务规格 | 玩家意图、世界状态、允许动作是否结构化 | 三要素齐全,字段类型属于 5 类之内 | 规格文件或配置路径 |
| 能力边界 | 建议、代做、接管三档是否定义 | 每档有撤销路径与责任说明 | 边界文档 + 实现路径 |
| 失败分类 | 错、慢、越界、失控、不可解释是否覆盖 | 每类至少 1 条评测用例 | 评测集路径 |
| 脚本基线 | Agent 关闭时游戏是否可玩 | 脚本路径可独立运行并通过回归 | 测试命令输出 |
任务规格最常见的缺失是「允许动作」写成自然语言。它必须是可枚举的字段,否则 9.1 的规格校验无从谈起。
二、实时与降级(第 3 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 延迟预算 | P95 是否有明确上限 | 方舟 ≤ 800ms,消消 ≤ 2,000ms | 看板查询或压测记录 |
| 降级演练 | 降级路径是否演练过 | 最近 90 天内至少一次,有参与人 | 演练记录编号 |
| 异步拆分 | 非实时部分是否移出关键路径 | 关键路径上无同步远程调用 | 调用链截图或代码路径 |
| 降级可观测 | 降级率是否有指标与告警 | 有看板、阈值与值班接收人 | 看板查询语句 |
「有降级代码」不等于通过。没有演练记录的降级路径,事故当天大概率不会按预期工作。
三、确定性与公平(第 4 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 种子回放 | 回放是否可重现 | 种子、模型版本、提示词版本三者齐全 | 回放文件路径 |
| 能力对齐 | AI 对手是否遵守玩家规则 | 动作空间、冷却、信息可见性三项一致 | 配置表比对 |
| 反作弊边界 | Agent 是否读取玩家隐藏信息 | 输入清单中无隐藏状态字段 | 输入 schema |
| 公平性审计 | 是否有抽样回放 | 30 天窗口内按比例抽样并留记录 | 审计报告路径 |
公平性不是「胜率接近 50%」。胜率接近但 AI 使用了玩家没有的信息,仍然是作弊;三项对齐比胜率更能说明问题。
四、记忆与关系(第 5 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 记忆范围 | 条数与时间是否双限 | 消消 20 条/7 天,方舟 200 条/180 天 | 配置路径 |
| 关系状态 | 是否多维、有档位、有漂移告警 | 3 维、5 档、单场漂移 > 40 点告警 | 实现路径 + 告警规则 |
| 数据最小化 | 删除请求是否有闭环 | 30 天内完成,可查询状态 | 工单查询 |
| 记忆可解释 | 玩家能否查看与删除 | 有入口,且删除后行为可验证 | 产品截图或接口路径 |
记忆条数上限与时间窗口必须同时存在。只限条数,长期玩家会把窗口内的高价值记忆挤掉;只限时间,短期高频玩家会触发隐私问题。
五、内容与审核(第 6 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 三条边界 | 可说、可做、可展示是否分别定义 | 三者独立成文,不互相替代 | 边界文档编号 |
| 审核分档 | 是否有拦截、人审、放行三档 | ≥ 0.65 拦截;0.35–0.65 人审;< 0.35 放行 | 配置路径 |
| 举报闭环 | 分级首响与回滚是否可查 | L1 1 小时到 L4 24 小时,回滚有记录 | 工单查询 |
| 抽检记录 | 抽检比例与异常处理是否留痕 | 消消 2%、方舟剧情 100%,异常 > 10% 整批退回 | 抽检报告 |
举报闭环的验收不是「有举报入口」,而是「从举报到回滚的平均时长可查」。没有时长的闭环无法判断是否有效。
六、经济与付费(第 7 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 成本口径 | 分母是否明确 | DAU、月场次、付费玩家三选一,且写明 | 报表查询 |
| 付费点数量 | Agent 付费点是否受控 | ≤ 3 个,能力、内容、陪伴各 0–1 | 商品配置 |
| 公平隔离 | 付费是否影响对抗结果 | 付费只影响外观、内容与便利 | 商品与规则比对 |
| 预算预警 | 单玩家月成本是否有预警线 | 1.0 元/月/玩家,超线有通知 | 告警配置 |
成本口径必须写清是否含人审。消消日均人审 48 小时、方舟 30 小时;只报模型成本,会把总成本低估一个量级。
七、群体与涌现(第 8 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 最小规则 | 消息预算与决策频率是否定义 | 每 tick 2 条、每场 5 条、1 Hz 决策 | 配置路径 |
| 观测窗口 | 是否有滚动观测 | 5 分钟滚动窗口,指标可查 | 看板查询 |
| 刹车 | 是否有分级阈值与冷静期 | 事件率 > 3×、漂移 > 40、举报 > 0.5% 触发;30 分钟冷静期 | 实现路径 |
| 社会回放 | 模拟是否可重放 | 种子与规则版本齐全 | 回放文件 |
没有刹车的多 Agent 系统不是「涌现」,是「不可控」。观测与刹车必须和多 Agent 规则同批上线,不能「先上再看」。
八、研发流程(第 9 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 规格到配置 | 字段类型与版本指纹是否落地 | 5 种类型、版本可比较 | 规格文件 + 校验命令 |
| 美术批处理 | 批量生成是否有验收阈值 | 每批 40 张、抽检 10%、ΔE ≤ 6、−16 LUFS ±1 | 抽检报告 |
| QA 覆盖 | 状态空间与预算是否匹配 | 216 组合中有 16 条单值覆盖,预算内 8 条 | 用例集路径 |
| 回归深度 | 改动影响是否可控 | 向外 1 跳,超跳需说明 | 回归报告 |
批处理验收最常见的漏洞是「只抽一次」。一次抽检不能证明稳定;至少连续三批都有记录,才算流程落地。
九、运营与 LiveOps(第 10 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 活动流水线 | 模板、变体、复核、冻结是否齐备 | 1 模板 × 6 变体,人工复核 1/3,冻结 72 小时 | 流水线配置 |
| 客服分级 | L0–L3 是否有明确触发 | Agent 10 秒首响,人工 30 分钟;退款、账号、滥用、低置信转人工 | 路由配置 |
| 事故响应 | 等级、首响与通报是否定义 | S1/S2/S3 首响 5/15/60 分钟,通报 30/60/120 分钟 | 值班表 + 演练记录 |
| 复盘 | 高等级事故是否复盘 | S1 与 S2 必须复盘,S3 按周汇总 | 复盘文档编号 |
首响的定义是「第一次有效回应」,不是「已受理」。用自动回复充当首响,事故当天的真实响应时间会被系统性低估。
十、度量与实验(第 11 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 体验护栏 | 三条护栏是否独立监控 | 投诉率 ≤ 0.5%、D1 回落 ≤ 1pp、会话变化 ≤ 10% | 看板查询 |
| 单位成本 | 分母与含人审口径是否写明 | 三个分母分列,模型与人审分开 | 报表查询 |
| 实验设计 | 样本与周期是否足够 | 基线 30%、MDE 3.35pp、每组 3,000 人、7 天 | 实验配置 |
| 灰度回滚 | 分批与回滚是否可执行 | 有批次、比例、回滚阈值与操作人 | 发布记录 |
护栏是「不许破」,不是「越低越好」。把投诉率当目标去优化,会得到「减少投诉入口」这种反向优化。
十一、组织与平台(第 12 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 所有权 | 六类工件是否有唯一所有权人 | 提示词、模型、阈值、评测、预算、工具 | 所有权表 |
| 审批 | 审批人是否独立、是否有时限 | 非所有权人,文案 1 天、模型与阈值 3 天 | 审批记录 |
| 评测集 | 规模与门槛是否达标 | 消消 120 条、方舟 200 条;95%、100%、每类 ≥ 20 | 评测报告 |
| 自建与采购 | 是否有保本点与退出成本 | 保本点 2.5 亿次/年,退出成本写成数字 | 决策记录 |
所有权表要写进工具链,而不是只写在文档里。文档会过期,工具会阻止不合规的发布。
十二、收口(第 13 章)
| 项 | 检查内容 | 通过标准 | 证据形态 |
|---|---|---|---|
| 成熟度 | 四维级别是否有证据 | 每维级别可追溯到准入条件 | 分级记录 |
| 路线图 | 依赖图是否无环、关键路径是否算出 | 无环,关键路径与总工期一致 | 排期文件 |
| 复评 | 升级后是否复评 | 30 天内复评,90 天证据重跑 | 复评记录 |
| 评审记录 | 是否留版本与两次差异 | 版本号、逐项状态、与上次差异 | 评审文档编号 |
收口组的四项都指向「记录」而不是「功能」。这是有意的:到了第 13 章,能力应该已经建成,剩下的是证明它能被复核。
证据怎么写
四种可接受写法:
src/fair/replay.ts:仓库路径,评审时能打开。node --test test/fair/replay.test.ts:命令,评审时能重跑。SELECT COUNT(*) FROM incidents WHERE level = 'S1':查询,评审时能执行。doc:RFC-014:文档编号,能追溯到版本。
三种不可接受写法:
- 「已确认」:没有可复现的入口。
- 「上次做过」:没有日期、版本与记录。
- 「设计里写了」:没有实现或没有运行。
判定边界
| 情形 | 判定 | 说明 |
|---|---|---|
| 做了但没记录 | partial | 补记录后可转 pass,不能口头说明 |
| 记录超过 90 天 | partial | 重跑后转 pass;组织调整后的所有权证据尤其容易过期 |
| 产品不做该能力 | N/A | 写明理由并移出统计,不能留空 |
| 连续三批抽检只做一批 | partial | 稳定性需要连续记录,一次不算 |
| 评审表为空 | fail | 没有记录不等于没有问题 |
评审记录模板
每次评审至少留以下字段:
| 字段 | 内容 |
|---|---|
| 日期与版本 | 评审发生的日期、产品版本与 Agent 版本 |
| 逐项状态 | 四十八项的状态与证据 |
| 空组与阻塞项 | 按组汇总,空组单独列出 |
| 与上次差异 | 修好、退步、遗留三类 |
| 下次评审 | 日期与负责人 |
模板可以简化,字段不能省。省掉版本,历史记录就无法对比;省掉差异,评审就退化成一次性的打勾。
清单之外
清单覆盖的是「有没有做、有没有证据」,不覆盖「做得好不好」。判断质量仍然需要人:读评测用例是否真的覆盖失败场景、看回放是否真的可解释、问降级演练是否真的按流程走。
**清单能防止遗漏,不能代替判断。**这是使用本附录时最需要记住的一句话。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。