《AI Agent 游戏产品开发》附录 C 评审清单

十二组、四十八项检查清单,对应全书十三章:玩法与任务、实时与降级、确定性与公平、记忆与关系、内容与审核、经济与付费、群体与涌现、研发流程、运营、度量与实验、组织与平台、收口。每项给出检查内容、通过标准与可接受的证据形态,可直接用于评审会逐项核对。

怎么用这张表

清单按 13.3 的十二组展开,每组四项,共四十八项。三项使用规则:

  1. 只填三种状态。 pass、partial、fail。没有「基本通过」,也没有百分比。
  2. 每项必须有证据。 证据是路径、命令、查询或文档编号;「已确认」按 partial 处理。
  3. 按组看空白。 某组四项全是 partial 或 fail,等价于这条线没落地,优先于其它组处理。

清单不按产品类型裁剪。不适用的项显式标 N/A,写明理由并从统计中移出;留空会被下一次评审重新问一遍。

一、玩法与任务(第 1–2 章)

项检查内容通过标准证据形态
任务规格玩家意图、世界状态、允许动作是否结构化三要素齐全,字段类型属于 5 类之内规格文件或配置路径
能力边界建议、代做、接管三档是否定义每档有撤销路径与责任说明边界文档 + 实现路径
失败分类错、慢、越界、失控、不可解释是否覆盖每类至少 1 条评测用例评测集路径
脚本基线Agent 关闭时游戏是否可玩脚本路径可独立运行并通过回归测试命令输出

任务规格最常见的缺失是「允许动作」写成自然语言。它必须是可枚举的字段,否则 9.1 的规格校验无从谈起。

二、实时与降级(第 3 章)

项检查内容通过标准证据形态
延迟预算P95 是否有明确上限方舟 ≤ 800ms,消消 ≤ 2,000ms看板查询或压测记录
降级演练降级路径是否演练过最近 90 天内至少一次,有参与人演练记录编号
异步拆分非实时部分是否移出关键路径关键路径上无同步远程调用调用链截图或代码路径
降级可观测降级率是否有指标与告警有看板、阈值与值班接收人看板查询语句

「有降级代码」不等于通过。没有演练记录的降级路径,事故当天大概率不会按预期工作。

三、确定性与公平(第 4 章)

项检查内容通过标准证据形态
种子回放回放是否可重现种子、模型版本、提示词版本三者齐全回放文件路径
能力对齐AI 对手是否遵守玩家规则动作空间、冷却、信息可见性三项一致配置表比对
反作弊边界Agent 是否读取玩家隐藏信息输入清单中无隐藏状态字段输入 schema
公平性审计是否有抽样回放30 天窗口内按比例抽样并留记录审计报告路径

公平性不是「胜率接近 50%」。胜率接近但 AI 使用了玩家没有的信息,仍然是作弊;三项对齐比胜率更能说明问题。

四、记忆与关系(第 5 章)

项检查内容通过标准证据形态
记忆范围条数与时间是否双限消消 20 条/7 天,方舟 200 条/180 天配置路径
关系状态是否多维、有档位、有漂移告警3 维、5 档、单场漂移 > 40 点告警实现路径 + 告警规则
数据最小化删除请求是否有闭环30 天内完成,可查询状态工单查询
记忆可解释玩家能否查看与删除有入口,且删除后行为可验证产品截图或接口路径

记忆条数上限与时间窗口必须同时存在。只限条数,长期玩家会把窗口内的高价值记忆挤掉;只限时间,短期高频玩家会触发隐私问题。

五、内容与审核(第 6 章)

项检查内容通过标准证据形态
三条边界可说、可做、可展示是否分别定义三者独立成文,不互相替代边界文档编号
审核分档是否有拦截、人审、放行三档≥ 0.65 拦截;0.35–0.65 人审;< 0.35 放行配置路径
举报闭环分级首响与回滚是否可查L1 1 小时到 L4 24 小时,回滚有记录工单查询
抽检记录抽检比例与异常处理是否留痕消消 2%、方舟剧情 100%,异常 > 10% 整批退回抽检报告

举报闭环的验收不是「有举报入口」,而是「从举报到回滚的平均时长可查」。没有时长的闭环无法判断是否有效。

六、经济与付费(第 7 章)

项检查内容通过标准证据形态
成本口径分母是否明确DAU、月场次、付费玩家三选一,且写明报表查询
付费点数量Agent 付费点是否受控≤ 3 个,能力、内容、陪伴各 0–1商品配置
公平隔离付费是否影响对抗结果付费只影响外观、内容与便利商品与规则比对
预算预警单玩家月成本是否有预警线1.0 元/月/玩家,超线有通知告警配置

成本口径必须写清是否含人审。消消日均人审 48 小时、方舟 30 小时;只报模型成本,会把总成本低估一个量级。

七、群体与涌现(第 8 章)

项检查内容通过标准证据形态
最小规则消息预算与决策频率是否定义每 tick 2 条、每场 5 条、1 Hz 决策配置路径
观测窗口是否有滚动观测5 分钟滚动窗口,指标可查看板查询
刹车是否有分级阈值与冷静期事件率 > 3×、漂移 > 40、举报 > 0.5% 触发;30 分钟冷静期实现路径
社会回放模拟是否可重放种子与规则版本齐全回放文件

没有刹车的多 Agent 系统不是「涌现」,是「不可控」。观测与刹车必须和多 Agent 规则同批上线,不能「先上再看」。

八、研发流程(第 9 章)

项检查内容通过标准证据形态
规格到配置字段类型与版本指纹是否落地5 种类型、版本可比较规格文件 + 校验命令
美术批处理批量生成是否有验收阈值每批 40 张、抽检 10%、ΔE ≤ 6、−16 LUFS ±1抽检报告
QA 覆盖状态空间与预算是否匹配216 组合中有 16 条单值覆盖,预算内 8 条用例集路径
回归深度改动影响是否可控向外 1 跳,超跳需说明回归报告

批处理验收最常见的漏洞是「只抽一次」。一次抽检不能证明稳定;至少连续三批都有记录,才算流程落地。

九、运营与 LiveOps(第 10 章)

项检查内容通过标准证据形态
活动流水线模板、变体、复核、冻结是否齐备1 模板 × 6 变体,人工复核 1/3,冻结 72 小时流水线配置
客服分级L0–L3 是否有明确触发Agent 10 秒首响,人工 30 分钟;退款、账号、滥用、低置信转人工路由配置
事故响应等级、首响与通报是否定义S1/S2/S3 首响 5/15/60 分钟,通报 30/60/120 分钟值班表 + 演练记录
复盘高等级事故是否复盘S1 与 S2 必须复盘,S3 按周汇总复盘文档编号

首响的定义是「第一次有效回应」,不是「已受理」。用自动回复充当首响,事故当天的真实响应时间会被系统性低估。

十、度量与实验(第 11 章)

项检查内容通过标准证据形态
体验护栏三条护栏是否独立监控投诉率 ≤ 0.5%、D1 回落 ≤ 1pp、会话变化 ≤ 10%看板查询
单位成本分母与含人审口径是否写明三个分母分列,模型与人审分开报表查询
实验设计样本与周期是否足够基线 30%、MDE 3.35pp、每组 3,000 人、7 天实验配置
灰度回滚分批与回滚是否可执行有批次、比例、回滚阈值与操作人发布记录

护栏是「不许破」,不是「越低越好」。把投诉率当目标去优化,会得到「减少投诉入口」这种反向优化。

十一、组织与平台(第 12 章)

项检查内容通过标准证据形态
所有权六类工件是否有唯一所有权人提示词、模型、阈值、评测、预算、工具所有权表
审批审批人是否独立、是否有时限非所有权人,文案 1 天、模型与阈值 3 天审批记录
评测集规模与门槛是否达标消消 120 条、方舟 200 条;95%、100%、每类 ≥ 20评测报告
自建与采购是否有保本点与退出成本保本点 2.5 亿次/年,退出成本写成数字决策记录

所有权表要写进工具链,而不是只写在文档里。文档会过期,工具会阻止不合规的发布。

十二、收口(第 13 章)

项检查内容通过标准证据形态
成熟度四维级别是否有证据每维级别可追溯到准入条件分级记录
路线图依赖图是否无环、关键路径是否算出无环,关键路径与总工期一致排期文件
复评升级后是否复评30 天内复评,90 天证据重跑复评记录
评审记录是否留版本与两次差异版本号、逐项状态、与上次差异评审文档编号

收口组的四项都指向「记录」而不是「功能」。这是有意的:到了第 13 章,能力应该已经建成,剩下的是证明它能被复核。

证据怎么写

四种可接受写法:

  • src/fair/replay.ts:仓库路径,评审时能打开。
  • node --test test/fair/replay.test.ts:命令,评审时能重跑。
  • SELECT COUNT(*) FROM incidents WHERE level = 'S1':查询,评审时能执行。
  • doc:RFC-014:文档编号,能追溯到版本。

三种不可接受写法:

  • 「已确认」:没有可复现的入口。
  • 「上次做过」:没有日期、版本与记录。
  • 「设计里写了」:没有实现或没有运行。

判定边界

情形判定说明
做了但没记录partial补记录后可转 pass,不能口头说明
记录超过 90 天partial重跑后转 pass;组织调整后的所有权证据尤其容易过期
产品不做该能力N/A写明理由并移出统计,不能留空
连续三批抽检只做一批partial稳定性需要连续记录,一次不算
评审表为空fail没有记录不等于没有问题

评审记录模板

每次评审至少留以下字段:

字段内容
日期与版本评审发生的日期、产品版本与 Agent 版本
逐项状态四十八项的状态与证据
空组与阻塞项按组汇总,空组单独列出
与上次差异修好、退步、遗留三类
下次评审日期与负责人

模板可以简化,字段不能省。省掉版本,历史记录就无法对比;省掉差异,评审就退化成一次性的打勾。

清单之外

清单覆盖的是「有没有做、有没有证据」,不覆盖「做得好不好」。判断质量仍然需要人:读评测用例是否真的覆盖失败场景、看回放是否真的可解释、问降级演练是否真的按流程走。

**清单能防止遗漏,不能代替判断。**这是使用本附录时最需要记住的一句话。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图