《AI Agent 游戏产品开发》13.3 全书评审与下一步

读完全书,团队需要的不是一张自评表,而是一道门禁:十二组检查项、四类可复现证据、结构数值证据三道门,任何一组空白都不能用总分掩盖。本节把评审写成可运行判定,给出消消与方舟的收口结果、两次评审的差异口径,以及本书之外必须自己做的三件事。评审记录要带版本与两次差异。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。评审分组、证据类型与门禁规则均为方法示例,不替代任何真实项目的验收流程。

全书读到这里,团队通常会做一件事:把十二章的结论列成一张自查表,逐项打勾。

《潮汐消消》的自查结果是「十项里过了八项」,看起来不错。《潮汐方舟》是「十二项全过」,更漂亮。但把表摊开看,消消过的是十组,没过的两组里有一组是「群体与涌现」——它根本没做过多 Agent;方舟的「研发流程」只有一项通过,其余九项没有记录。

「十项过八项」和「十二项全过」都不能说明问题。这一节要做的,是把自查变成门禁。

评审不是打分

打分表的问题不是不精确,而是可被平均。十二组里有一组完全空白,只要其余十一组得分高,平均分仍然好看;会议结论会变成「总体不错,局部补强」,而那个空白一直留在那里。

门禁只认三种状态:

状态含义是否阻塞
pass做到了,且有可复现证据否
partial做了一部分,或没有证据是
fail没有做,或做了不可用是

没有「半分」,也没有「酌情通过」。partial 和 fail 一样阻塞,区别只在处理顺序:fail 从零开始,partial 补证据或补实现。

十二组检查项

检查项按全书十二章分组,每组至少一项通过,才算这条线有落地:

组对应章节检查什么
玩法与任务2、1任务定义、能力边界、失败分类
实时与降级3延迟预算、异步拆分、降级路径
确定性与公平4种子回放、对手能力、反作弊边界
记忆与关系5记忆范围、关系状态、数据最小化
内容与审核6可说可做可展示、过滤、举报回滚
经济与付费7成本口径、付费点、公平与付费隔离
群体与涌现8多 Agent 规则、涌现观测、刹车
研发流程9规格、批处理、QA 探索
运营与 LiveOps10内容生产、服务分级、事故响应
度量与实验11体验护栏、单位成本、灰度实验
组织与平台12所有权、评测集、自建与采购
收口13成熟度、路线图、复评记录

分组不是为了好看。它的作用是让「一条线完全没做」无法被其它线的高分掩盖。十二组里有一组 pass 数为零,说明那条线一项都没落地;这比「做了一半」严重得多,处理优先级也更高。

证据分四类

只有四类证据算数:

类型形态例子
路径仓库里的文件src/fair/replay.ts
命令能重跑的命令node --test test/fair/replay.test.ts
查询能在数据平台执行的语句SELECT ... FROM incidents
文档有编号、可追溯的文档doc:RFC-014

「已确认」「口头对齐」「群里说过」都不算。原因不是不信任,而是无法复现:换一个人接手,不知道去哪里看、怎么重跑、以什么为准。

证据还要能指向当下的版本。半年前的文件路径今天可能已经改名;评审时证据要写清提交或版本,否则「路径存在」不等于「这条结论仍然成立」。

三道门禁

评审同时过三道门,三者是「与」的关系:

门禁检查不过的后果
结构门禁十二组是否都有通过项有空白组,说明整条线没落地
数值门禁延迟、成本、护栏是否有口径与实测记录数字无法复核,结论不可信
证据门禁每个 pass 是否有可复现证据通过项降级为 partial

三道门禁的检查对象不同,但共用一个结果:只要有一道不过,整次评审不通过。不做加权,也不设「总体通过率」。

空组比部分完成更危险

评审结果通常有三种形态:

形态特征处理
全过无阻塞项,十二组都有通过项记录基线,进入下一版本
局部阻塞少数 partial,分散在多组补证据或补实现,不阻塞其它组
结构性缺失某组 pass 为零,或评审为空停下补设计,不要用其它组得分掩盖

结构性缺失最容易被误判。它经常表现为「群体与涌现 0 项」「经济与付费 0 项」,在总分里只占一小块,评审容易带着「总体不错」的结论过关。把空组单独列出来,就是为了让这类空白无法被平均。

空评审也按结构性缺失处理。没有记录不等于没有问题,可能只是没人做评审。

两次评审的差异比总分有用

评审的价值一半在当次结论,一半在两次之间的变化。单次结果只能回答「现在怎样」,两次对比才能回答「在变好还是变坏」。

差异分三类:

  • 修好:上次未通过,这次通过。
  • 退步:上次通过,这次未通过。
  • 遗留:两次都未通过。

退步项要单独看。一个长期 partial 的项说明团队知道问题但没排期;一个从 pass 掉到 fail 的项,通常意味着负责人换了、依赖失效或线上环境变了。后者更紧急,因为它说明原本有效的东西正在失效。

差异记录要和版本号绑定。不写版本的「上次评审」,三个月后就无法判断是哪一版的状态。

双案例的收口结果

按十二组跑一遍,两款产品的结果不同:

组消消方舟
玩法与任务passpass
实时与降级passpass
确定性与公平passpass
记忆与关系passpass
内容与审核passpass
经济与付费partialpass
群体与涌现空组pass
研发流程passpartial
运营与 LiveOpspasspass
度量与实验passpass
组织与平台passpass
收口passpass

消消的 群体与涌现 是空组:它没有多 Agent 场景,这一组对它不适用。不适用不等于可以通过。 处理方式有两种:明确写「本产品不做多 Agent,此组标记为 N/A 并从评审范围移除」,或者补一个最小场景。两种都可以,但不能让它以空组状态留在表里——留下空白,下一次评审又会被重新问一遍。

方舟的 研发流程 是 partial:它有规格与 QA 用例,但美术批处理的一致性抽检只做过一次,没有形成记录。按证据规则,一次性的抽检不算稳定证据,降级为 partial。

结果:方舟十二组都有通过项,但研发流程那一项 partial 仍然阻塞;消消有一组空白、一组 partial,同样不通过。两家都没过门禁,原因不同:消消的问题是有条线没有决策,方舟的问题是证据只跑过一次。

下一步的三件事

书读完不等于能力建成。本书之外,团队至少要自己做三件事:

  1. 选一个场景做端到端。 从规格(9.1)、评测(12.2)、上线、观测(11.1)到复盘(10.3)走一遍完整链路。只做单点,永远发现不了链路断在哪。
  2. 把评测集建起来。 先按 12.2 的最低要求:消消 120 条、方舟 200 条,每类至少 20 条,通过率 95%,红线 100%。评测集不是一次性产物,要随事故与举报持续补条目。
  3. 把事故演练跑一遍。 选一个 S2 场景,按 10.3 的 15 分钟首响与 60 分钟通报走一遍。没演练过的响应表,事故当天一定会改。

三件事的顺序不能颠倒:没有端到端链路,评测集不知道覆盖什么;没有评测集,演练只能测流程,测不出 Agent 的行为。

本书的边界

这本书只回答「游戏内 Agent 的产品判断」。以下四类问题不在范围内,需要读相邻书稿:

问题去哪读
客户端运行时、包体、热更《移动游戏产品的架构》
通用 Agent 的任务定义与组织改造《AI Agent 产品开发》
模型接入、路由、平台治理站内「互联网产品的 AI 架构」系列
服务端同步、战斗算法、跨服站内「游戏服务端架构」系列

边界写清楚,是为了避免两种误用:把本书当通用 Agent 教材,或者把服务端问题拿到产品层讨论。删掉「游戏」二字仍然成立的结论,本书一律不写。

把评审写成可运行门禁

下面的实现把证据分类、门禁判定、空组识别与两次评审比对写成纯函数。

// file: src/govern/review.ts
// tier: L1
// verify: node --test test/govern/review.test.ts

// 评审是门禁,不是打分:「部分完成」按未过处理,没有可复现证据的通过也按未过。
// 证据必须是路径、命令、查询或文档编号,口头确认不算。

export type Status = "pass" | "partial" | "fail";

export type ReviewItem = {
  readonly id: string;
  readonly group: string;
  readonly status: Status;
  readonly evidence: string;
};

export type EvidenceKind = "path" | "command" | "query" | "doc" | "weak";

export type Gate = {
  readonly passed: boolean;
  readonly total: number;
  readonly counts: Readonly<Record<Status, number>>;
  readonly blockers: readonly string[];
  readonly emptyGroups: readonly string[];
  readonly reasons: readonly string[];
};

export type Diff = {
  readonly fixed: readonly string[];
  readonly regressed: readonly string[];
  readonly still: readonly string[];
};

export const GROUPS: readonly string[] = [
  "玩法与任务",
  "实时与降级",
  "确定性与公平",
  "记忆与关系",
  "内容与审核",
  "经济与付费",
  "群体与涌现",
  "研发流程",
  "运营与 LiveOps",
  "度量与实验",
  "组织与平台",
  "收口",
];

export function classifyEvidence(evidence: string): EvidenceKind {
  const text = evidence.trim();
  if (text === "") return "weak";
  if (text.startsWith("src/") || text.startsWith("test/") || text.startsWith("docs/")) return "path";
  if (text.startsWith("node ") || text.startsWith("python3 ")) return "command";
  if (/^(select|show|explain)\b/i.test(text)) return "query";
  if (text.startsWith("doc:")) return "doc";
  return "weak";
}

export function gate(items: readonly ReviewItem[]): Gate {
  const reasons: string[] = [];
  const normalized: ReviewItem[] = [];
  for (const item of items) {
    if (item.status === "pass" && classifyEvidence(item.evidence) === "weak") {
      reasons.push(`${item.id}: pass without reproducible evidence`);
      normalized.push({ ...item, status: "partial" });
      continue;
    }
    normalized.push(item);
  }

  const counts: Record<Status, number> = { pass: 0, partial: 0, fail: 0 };
  for (const item of normalized) counts[item.status] += 1;

  const blockers = normalized
    .filter((item) => item.status !== "pass")
    .map((item) => item.id);
  const emptyGroups = GROUPS.filter(
    (group) => !normalized.some((item) => item.group === group && item.status === "pass"),
  );
  if (normalized.length === 0) reasons.push("no review items");

  return {
    passed: normalized.length > 0 && blockers.length === 0,
    total: normalized.length,
    counts,
    blockers,
    emptyGroups,
    reasons,
  };
}

// 两次评审之间最有价值的信息不是总分,而是哪些修好了、哪些退步了。
export function diffReviews(
  before: readonly ReviewItem[],
  after: readonly ReviewItem[],
): Diff {
  const previous = new Map(before.map((item) => [item.id, item.status]));
  const fixed: string[] = [];
  const regressed: string[] = [];
  const still: string[] = [];
  for (const item of after) {
    const was = previous.get(item.id);
    if (was === undefined) continue;
    if (was !== "pass" && item.status === "pass") fixed.push(item.id);
    else if (was === "pass" && item.status !== "pass") regressed.push(item.id);
    else if (item.status !== "pass") still.push(item.id);
  }
  return { fixed, regressed, still };
}

// 空组意味着这条线一项都没过,处理优先级高于「做了一半」的组。
export function worstGroups(result: Gate): readonly string[] {
  return result.emptyGroups;
}

GROUPS 固定十二组,与全书十二章一一对应。分组写在代码里而不是评审表里,避免每次评审都出现「这次多加一组」的自由发挥;确实要增删,就改代码并留记录。

classifyEvidence 只认四类前缀。它不做语义判断,也不需要判断证据是否充分——那仍然是人的工作。它只负责挡住「已确认」这类无法复现的输入。

gate 先把没有可复现证据的 pass 降级,再统计。顺序不能反:先统计再降级,计数会与阻塞项对不上。

emptyGroups 返回「没有任何通过项」的组,而不是「有阻塞项」的组。两者语义不同:前者是整条线空白,后者是某条线做了一半。混用会把「做了一半」误报成「完全没做」。

diffReviews 只比对两次都出现的项。新增项不进入差异,因为它没有基线;删除项也不进入,因为无法判断是「不再适用」还是「忘了记录」。这个限制是有意的:差异只回答「同一个项有没有变化」。

评审记录怎么留

一次评审至少留五样东西:

  • 评审日期与版本号。
  • 十二组的逐项状态与证据。
  • 空组与阻塞项清单。
  • 与上次评审的差异。
  • 下一次评审日期与负责人。

记录放仓库,不放个人文档。评审记录的价值在于可对比;放在个人目录里,换人就断了。

小结

  • 评审是门禁,不是打分;partial 与 fail 都阻塞,不做加权平均。
  • 十二组对应十二章,每组至少一项通过;空组按结构性缺失处理。
  • 证据只有路径、命令、查询、文档四类,口头确认不算。
  • 三道门禁是「与」的关系:结构、数值、证据,任一不过则整次不过。
  • 空组比部分完成更危险,因为它在总分里占比小,容易被掩盖。
  • 两次评审之间的修好、退步、遗留比单次总分更有信息量。
  • 不适用不等于可以通过:不做多 Agent,要显式标记 N/A 并移出范围。
  • 方舟十二组都有通过项但研发流程一项 partial 阻塞,消消有一组空白与一组 partial;两家都不通过。
  • 下一步三件事:端到端链路、评测集、事故演练,顺序不能颠倒。
  • 本书只回答游戏内 Agent 的产品判断,其余四类问题交给相邻书稿。

阅读导航:上一节:13.2 从单点到系统性能力的路线图 · 下一节:目录与学习路径 。

常见错误与边界

  1. 把评审做成打分。 平均分掩盖空组;十二组里有一组全空,总分仍可能「及格」。
  2. 允许「部分通过」。 设计有、证据无,等于没验证;按本节规则直接阻塞。
  3. 证据写「已确认」。 没有路径、命令或查询,换个人无法复现,自动降级。
  4. 用通过率代替空组检查。 十一组各过一项、一组全空,通过率 92%,但那一条线根本没开始。
  5. 把 N/A 当成通过。 不适用要显式标记并移出范围,不能留成空组下次再问。
  6. 只保留最新一次评审。 没有历史就无法区分「一直如此」与「本版本退步」。
  7. 把评审器当自动化验收。 它只校验记录自洽,不替代依赖测试、性能测试与真机验收。
  8. 证据不写版本。 半年前的文件路径今天可能已改名;路径存在不等于结论仍成立。
  9. 把下一步三件事并行开工。 没有端到端链路,评测集不知道覆盖什么;没有评测集,演练测不出行为。
  10. 把本书当通用 Agent 教材。 删掉「游戏」二字仍成立的结论,本书没有写;需要时去读相邻书稿。

到这里,全书的判断链闭合:从三点差异出发,经任务、实时、公平、记忆、内容、经济、涌现、流程、运营、度量、组织,最后收口为成熟度、路线图与评审三道工具。剩下的不是再读一遍,而是选一个场景,把这条链在你的产品上跑通。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图