以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。评审分组、证据类型与门禁规则均为方法示例,不替代任何真实项目的验收流程。
全书读到这里,团队通常会做一件事:把十二章的结论列成一张自查表,逐项打勾。
《潮汐消消》的自查结果是「十项里过了八项」,看起来不错。《潮汐方舟》是「十二项全过」,更漂亮。但把表摊开看,消消过的是十组,没过的两组里有一组是「群体与涌现」——它根本没做过多 Agent;方舟的「研发流程」只有一项通过,其余九项没有记录。
「十项过八项」和「十二项全过」都不能说明问题。这一节要做的,是把自查变成门禁。
评审不是打分
打分表的问题不是不精确,而是可被平均。十二组里有一组完全空白,只要其余十一组得分高,平均分仍然好看;会议结论会变成「总体不错,局部补强」,而那个空白一直留在那里。
门禁只认三种状态:
| 状态 | 含义 | 是否阻塞 |
|---|---|---|
pass | 做到了,且有可复现证据 | 否 |
partial | 做了一部分,或没有证据 | 是 |
fail | 没有做,或做了不可用 | 是 |
没有「半分」,也没有「酌情通过」。partial 和 fail 一样阻塞,区别只在处理顺序:fail 从零开始,partial 补证据或补实现。
十二组检查项
检查项按全书十二章分组,每组至少一项通过,才算这条线有落地:
| 组 | 对应章节 | 检查什么 |
|---|---|---|
| 玩法与任务 | 2、1 | 任务定义、能力边界、失败分类 |
| 实时与降级 | 3 | 延迟预算、异步拆分、降级路径 |
| 确定性与公平 | 4 | 种子回放、对手能力、反作弊边界 |
| 记忆与关系 | 5 | 记忆范围、关系状态、数据最小化 |
| 内容与审核 | 6 | 可说可做可展示、过滤、举报回滚 |
| 经济与付费 | 7 | 成本口径、付费点、公平与付费隔离 |
| 群体与涌现 | 8 | 多 Agent 规则、涌现观测、刹车 |
| 研发流程 | 9 | 规格、批处理、QA 探索 |
| 运营与 LiveOps | 10 | 内容生产、服务分级、事故响应 |
| 度量与实验 | 11 | 体验护栏、单位成本、灰度实验 |
| 组织与平台 | 12 | 所有权、评测集、自建与采购 |
| 收口 | 13 | 成熟度、路线图、复评记录 |
分组不是为了好看。它的作用是让「一条线完全没做」无法被其它线的高分掩盖。十二组里有一组 pass 数为零,说明那条线一项都没落地;这比「做了一半」严重得多,处理优先级也更高。
证据分四类
只有四类证据算数:
| 类型 | 形态 | 例子 |
|---|---|---|
| 路径 | 仓库里的文件 | src/fair/replay.ts |
| 命令 | 能重跑的命令 | node --test test/fair/replay.test.ts |
| 查询 | 能在数据平台执行的语句 | SELECT ... FROM incidents |
| 文档 | 有编号、可追溯的文档 | doc:RFC-014 |
「已确认」「口头对齐」「群里说过」都不算。原因不是不信任,而是无法复现:换一个人接手,不知道去哪里看、怎么重跑、以什么为准。
证据还要能指向当下的版本。半年前的文件路径今天可能已经改名;评审时证据要写清提交或版本,否则「路径存在」不等于「这条结论仍然成立」。
三道门禁
评审同时过三道门,三者是「与」的关系:
| 门禁 | 检查 | 不过的后果 |
|---|---|---|
| 结构门禁 | 十二组是否都有通过项 | 有空白组,说明整条线没落地 |
| 数值门禁 | 延迟、成本、护栏是否有口径与实测记录 | 数字无法复核,结论不可信 |
| 证据门禁 | 每个 pass 是否有可复现证据 | 通过项降级为 partial |
三道门禁的检查对象不同,但共用一个结果:只要有一道不过,整次评审不通过。不做加权,也不设「总体通过率」。
空组比部分完成更危险
评审结果通常有三种形态:
| 形态 | 特征 | 处理 |
|---|---|---|
| 全过 | 无阻塞项,十二组都有通过项 | 记录基线,进入下一版本 |
| 局部阻塞 | 少数 partial,分散在多组 | 补证据或补实现,不阻塞其它组 |
| 结构性缺失 | 某组 pass 为零,或评审为空 | 停下补设计,不要用其它组得分掩盖 |
结构性缺失最容易被误判。它经常表现为「群体与涌现 0 项」「经济与付费 0 项」,在总分里只占一小块,评审容易带着「总体不错」的结论过关。把空组单独列出来,就是为了让这类空白无法被平均。
空评审也按结构性缺失处理。没有记录不等于没有问题,可能只是没人做评审。
两次评审的差异比总分有用
评审的价值一半在当次结论,一半在两次之间的变化。单次结果只能回答「现在怎样」,两次对比才能回答「在变好还是变坏」。
差异分三类:
- 修好:上次未通过,这次通过。
- 退步:上次通过,这次未通过。
- 遗留:两次都未通过。
退步项要单独看。一个长期 partial 的项说明团队知道问题但没排期;一个从 pass 掉到 fail 的项,通常意味着负责人换了、依赖失效或线上环境变了。后者更紧急,因为它说明原本有效的东西正在失效。
差异记录要和版本号绑定。不写版本的「上次评审」,三个月后就无法判断是哪一版的状态。
双案例的收口结果
按十二组跑一遍,两款产品的结果不同:
| 组 | 消消 | 方舟 |
|---|---|---|
| 玩法与任务 | pass | pass |
| 实时与降级 | pass | pass |
| 确定性与公平 | pass | pass |
| 记忆与关系 | pass | pass |
| 内容与审核 | pass | pass |
| 经济与付费 | partial | pass |
| 群体与涌现 | 空组 | pass |
| 研发流程 | pass | partial |
| 运营与 LiveOps | pass | pass |
| 度量与实验 | pass | pass |
| 组织与平台 | pass | pass |
| 收口 | pass | pass |
消消的 群体与涌现 是空组:它没有多 Agent 场景,这一组对它不适用。不适用不等于可以通过。 处理方式有两种:明确写「本产品不做多 Agent,此组标记为 N/A 并从评审范围移除」,或者补一个最小场景。两种都可以,但不能让它以空组状态留在表里——留下空白,下一次评审又会被重新问一遍。
方舟的 研发流程 是 partial:它有规格与 QA 用例,但美术批处理的一致性抽检只做过一次,没有形成记录。按证据规则,一次性的抽检不算稳定证据,降级为 partial。
结果:方舟十二组都有通过项,但研发流程那一项 partial 仍然阻塞;消消有一组空白、一组 partial,同样不通过。两家都没过门禁,原因不同:消消的问题是有条线没有决策,方舟的问题是证据只跑过一次。
下一步的三件事
书读完不等于能力建成。本书之外,团队至少要自己做三件事:
- 选一个场景做端到端。 从规格(9.1)、评测(12.2)、上线、观测(11.1)到复盘(10.3)走一遍完整链路。只做单点,永远发现不了链路断在哪。
- 把评测集建起来。 先按 12.2 的最低要求:消消 120 条、方舟 200 条,每类至少 20 条,通过率 95%,红线 100%。评测集不是一次性产物,要随事故与举报持续补条目。
- 把事故演练跑一遍。 选一个 S2 场景,按 10.3 的 15 分钟首响与 60 分钟通报走一遍。没演练过的响应表,事故当天一定会改。
三件事的顺序不能颠倒:没有端到端链路,评测集不知道覆盖什么;没有评测集,演练只能测流程,测不出 Agent 的行为。
本书的边界
这本书只回答「游戏内 Agent 的产品判断」。以下四类问题不在范围内,需要读相邻书稿:
| 问题 | 去哪读 |
|---|---|
| 客户端运行时、包体、热更 | 《移动游戏产品的架构》 |
| 通用 Agent 的任务定义与组织改造 | 《AI Agent 产品开发》 |
| 模型接入、路由、平台治理 | 站内「互联网产品的 AI 架构」系列 |
| 服务端同步、战斗算法、跨服 | 站内「游戏服务端架构」系列 |
边界写清楚,是为了避免两种误用:把本书当通用 Agent 教材,或者把服务端问题拿到产品层讨论。删掉「游戏」二字仍然成立的结论,本书一律不写。
把评审写成可运行门禁
下面的实现把证据分类、门禁判定、空组识别与两次评审比对写成纯函数。
// file: src/govern/review.ts
// tier: L1
// verify: node --test test/govern/review.test.ts
// 评审是门禁,不是打分:「部分完成」按未过处理,没有可复现证据的通过也按未过。
// 证据必须是路径、命令、查询或文档编号,口头确认不算。
export type Status = "pass" | "partial" | "fail";
export type ReviewItem = {
readonly id: string;
readonly group: string;
readonly status: Status;
readonly evidence: string;
};
export type EvidenceKind = "path" | "command" | "query" | "doc" | "weak";
export type Gate = {
readonly passed: boolean;
readonly total: number;
readonly counts: Readonly<Record<Status, number>>;
readonly blockers: readonly string[];
readonly emptyGroups: readonly string[];
readonly reasons: readonly string[];
};
export type Diff = {
readonly fixed: readonly string[];
readonly regressed: readonly string[];
readonly still: readonly string[];
};
export const GROUPS: readonly string[] = [
"玩法与任务",
"实时与降级",
"确定性与公平",
"记忆与关系",
"内容与审核",
"经济与付费",
"群体与涌现",
"研发流程",
"运营与 LiveOps",
"度量与实验",
"组织与平台",
"收口",
];
export function classifyEvidence(evidence: string): EvidenceKind {
const text = evidence.trim();
if (text === "") return "weak";
if (text.startsWith("src/") || text.startsWith("test/") || text.startsWith("docs/")) return "path";
if (text.startsWith("node ") || text.startsWith("python3 ")) return "command";
if (/^(select|show|explain)\b/i.test(text)) return "query";
if (text.startsWith("doc:")) return "doc";
return "weak";
}
export function gate(items: readonly ReviewItem[]): Gate {
const reasons: string[] = [];
const normalized: ReviewItem[] = [];
for (const item of items) {
if (item.status === "pass" && classifyEvidence(item.evidence) === "weak") {
reasons.push(`${item.id}: pass without reproducible evidence`);
normalized.push({ ...item, status: "partial" });
continue;
}
normalized.push(item);
}
const counts: Record<Status, number> = { pass: 0, partial: 0, fail: 0 };
for (const item of normalized) counts[item.status] += 1;
const blockers = normalized
.filter((item) => item.status !== "pass")
.map((item) => item.id);
const emptyGroups = GROUPS.filter(
(group) => !normalized.some((item) => item.group === group && item.status === "pass"),
);
if (normalized.length === 0) reasons.push("no review items");
return {
passed: normalized.length > 0 && blockers.length === 0,
total: normalized.length,
counts,
blockers,
emptyGroups,
reasons,
};
}
// 两次评审之间最有价值的信息不是总分,而是哪些修好了、哪些退步了。
export function diffReviews(
before: readonly ReviewItem[],
after: readonly ReviewItem[],
): Diff {
const previous = new Map(before.map((item) => [item.id, item.status]));
const fixed: string[] = [];
const regressed: string[] = [];
const still: string[] = [];
for (const item of after) {
const was = previous.get(item.id);
if (was === undefined) continue;
if (was !== "pass" && item.status === "pass") fixed.push(item.id);
else if (was === "pass" && item.status !== "pass") regressed.push(item.id);
else if (item.status !== "pass") still.push(item.id);
}
return { fixed, regressed, still };
}
// 空组意味着这条线一项都没过,处理优先级高于「做了一半」的组。
export function worstGroups(result: Gate): readonly string[] {
return result.emptyGroups;
}
GROUPS 固定十二组,与全书十二章一一对应。分组写在代码里而不是评审表里,避免每次评审都出现「这次多加一组」的自由发挥;确实要增删,就改代码并留记录。
classifyEvidence 只认四类前缀。它不做语义判断,也不需要判断证据是否充分——那仍然是人的工作。它只负责挡住「已确认」这类无法复现的输入。
gate 先把没有可复现证据的 pass 降级,再统计。顺序不能反:先统计再降级,计数会与阻塞项对不上。
emptyGroups 返回「没有任何通过项」的组,而不是「有阻塞项」的组。两者语义不同:前者是整条线空白,后者是某条线做了一半。混用会把「做了一半」误报成「完全没做」。
diffReviews 只比对两次都出现的项。新增项不进入差异,因为它没有基线;删除项也不进入,因为无法判断是「不再适用」还是「忘了记录」。这个限制是有意的:差异只回答「同一个项有没有变化」。
评审记录怎么留
一次评审至少留五样东西:
- 评审日期与版本号。
- 十二组的逐项状态与证据。
- 空组与阻塞项清单。
- 与上次评审的差异。
- 下一次评审日期与负责人。
记录放仓库,不放个人文档。评审记录的价值在于可对比;放在个人目录里,换人就断了。
小结
- 评审是门禁,不是打分;
partial与fail都阻塞,不做加权平均。 - 十二组对应十二章,每组至少一项通过;空组按结构性缺失处理。
- 证据只有路径、命令、查询、文档四类,口头确认不算。
- 三道门禁是「与」的关系:结构、数值、证据,任一不过则整次不过。
- 空组比部分完成更危险,因为它在总分里占比小,容易被掩盖。
- 两次评审之间的修好、退步、遗留比单次总分更有信息量。
- 不适用不等于可以通过:不做多 Agent,要显式标记 N/A 并移出范围。
- 方舟十二组都有通过项但研发流程一项
partial阻塞,消消有一组空白与一组partial;两家都不通过。 - 下一步三件事:端到端链路、评测集、事故演练,顺序不能颠倒。
- 本书只回答游戏内 Agent 的产品判断,其余四类问题交给相邻书稿。
阅读导航:上一节:13.2 从单点到系统性能力的路线图 · 下一节:目录与学习路径 。
常见错误与边界
- 把评审做成打分。 平均分掩盖空组;十二组里有一组全空,总分仍可能「及格」。
- 允许「部分通过」。 设计有、证据无,等于没验证;按本节规则直接阻塞。
- 证据写「已确认」。 没有路径、命令或查询,换个人无法复现,自动降级。
- 用通过率代替空组检查。 十一组各过一项、一组全空,通过率 92%,但那一条线根本没开始。
- 把 N/A 当成通过。 不适用要显式标记并移出范围,不能留成空组下次再问。
- 只保留最新一次评审。 没有历史就无法区分「一直如此」与「本版本退步」。
- 把评审器当自动化验收。 它只校验记录自洽,不替代依赖测试、性能测试与真机验收。
- 证据不写版本。 半年前的文件路径今天可能已改名;路径存在不等于结论仍成立。
- 把下一步三件事并行开工。 没有端到端链路,评测集不知道覆盖什么;没有评测集,演练测不出行为。
- 把本书当通用 Agent 教材。 删掉「游戏」二字仍成立的结论,本书没有写;需要时去读相邻书稿。
到这里,全书的判断链闭合:从三点差异出发,经任务、实时、公平、记忆、内容、经济、涌现、流程、运营、度量、组织,最后收口为成熟度、路线图与评审三道工具。剩下的不是再读一遍,而是选一个场景,把这条链在你的产品上跑通。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。