以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。分级条件与复评节奏均为方法示例,不构成行业标准。
季度评审上,两款产品都报了同一个数字:《潮汐消消》和《潮汐方舟》的 Agent 成熟度「大概 L3」。
主持人追问了三件事:评测集覆盖哪些场景、降级演练上一次跑是什么时候、最近一次事故复盘放在哪。消消答不出第三件,方舟答不出第一件的后半段——它的 200 条评测集中在延迟与公平,几乎没有覆盖剧情语气。
两家都没有说谎。它们只是把四个方向的进度压成了一个数字,而这个数字恰好落在中间。
成熟度不是一条曲线
多数团队把成熟度理解成一条从低到高的曲线,每升一级就「更 AI 一点」。这个理解在游戏里会失效,原因有三条:
- 四个方向的进度天然不同。玩法有效性的证据在策划手里,实时性的证据在程序手里,信任的证据在运营手里,治理的证据在平台手里。
- 方向的权重因产品而异。消消的实时要求低,方舟的信任压力大,同一条曲线无法同时描述两者。
- 故障总是发生在最弱的一维。平均分再高,公平性空白照样会引发舆情。
所以本书的分级不是一条曲线,而是四维坐标系。每一维独立评级,整体取最短板。
四个维度各自定义
| 维度 | 回答的问题 | 主要证据 | 负责角色 |
|---|---|---|---|
| 玩法有效性 | Agent 是否真的让玩法更好 | 对照实验、评测集、留存 | 策划 |
| 实时性 | 玩家是否等得起 | 延迟看板、降级演练、发布门禁 | 程序 |
| 玩家信任 | 玩家是否愿意继续交互 | 披露、审核、举报闭环、回放审计 | 运营与策划 |
| 工程治理 | 出了事能不能兜住 | 所有权、预算、事故记录、复盘 | 平台 |
四个维度不能互相抵扣。实时性满分不能弥补公平性空白,反过来也一样。这一点和 11.1 的体验护栏是同一条原则:护栏各自独立,不做加权。
维度也不是越多越好。再加「创新能力」「营收贡献」这类维度,分级会退化成 PPT 评分表。四个维度已经覆盖「Agent 能不能用、玩家等不等得起、敢不敢继续玩、出事兜不兜得住」四件事。
L0 到 L4 的准入条件
每一维有四个等级,每个等级一条准入条件。条件全部满足才算到达该级,缺一条就停在上一级。
| 维度 | L1 单点 | L2 兜底 | L3 可评测 | L4 可治理 |
|---|---|---|---|---|
| 玩法有效性 | 一个明确场景 + 可回退的脚本基线 | 有对照实验,能说明 Agent 比脚本好在哪 | 有评测集与回归,改动前后可比较 | 多场景共用一套评测口径与准入流程 |
| 实时性 | 有单次思考时间上限,超时走脚本 | 降级路径经过演练,不是纸面方案 | P95 延迟与降级率有看板与告警 | 延迟预算进入发布门禁,超标不得上线 |
| 玩家信任 | 玩家知道自己在与 Agent 交互 | 可说、可做、可展示有明确边界与过滤 | 举报、回滚与追责闭环可查 | 公平性有回放审计,付费不影响对抗结果 |
| 工程治理 | 每类工件有所有权人与审批人 | 单位成本有分母口径与预算预警 | 有事故分级、首响与复盘记录 | 跨产品共用评测、预算与刹车口径 |
四级的含义可以压成一句话:
- L1 能用:跑起来了,坏了能切回脚本。
- L2 能兜底:知道它什么时候坏,坏了有演练过的路径。
- L3 能比较:改动前后有同一套尺子,能判断「有没有变差」。
- L4 能治理:不依赖某个人记得,规则进了门禁与流程。
L0 是「未成形」:还没有一个能稳定触发的场景,或者连脚本基线都没有。L0 不是失败,多数新功能都从 L0 开始;危险的是把 L0 写成 L2。
整体取最短板
整体级别是四个维度里的最小值,不是平均值。
| 形态 | 四维级别 | 平均 | 整体 | 实际含义 |
|---|---|---|---|---|
| 消消 | 3 / 2 / 3 / 2 | 2.5 | L2 | 实时与治理没有兜底,一次模型抖动就暴露 |
| 方舟 | 3 / 4 / 4 / 3 | 3.5 | L3 | 玩法与治理还没到可治理,跨产品复用会出问题 |
| 某新功能 | 1 / 4 / 1 / 1 | 1.75 | L1 | 技术指标漂亮,但玩法与信任都还没建立 |
平均分会把「某一维完全空白」稀释掉。消消的 3/2/3/2 如果报 2.5,评审听到的是「接近 L3」;但实时性只有 L2,意味着降级路径没有演练过,模型延迟抖动时玩家看到的是卡住,不是「平均 2.5」。
最短板还有一层含义:升级必须从最短板开始。 先把 L2 补到 L3,整体才可能变 L3;先去把已经 L3 的维度推到 L4,整体仍然是 L2。
证据是分级的一部分
分级只承认带证据的声明。空证据的声明按未满足处理,哪怕团队确实做过。
三种常见的假证据:
| 说法 | 问题 | 可接受的替代 |
|---|---|---|
| 「已确认」 | 没有文件、命令或查询,别人无法复现 | 文件路径、测试命令输出、线上查询语句 |
| 「做过一次」 | 没有记录,换个人就不知道怎么做 | 演练记录 + 日期 + 参与人 |
| 「设计里有」 | 没有实现,也没有运行过 | 实现路径 + 最近一次运行结果 |
这也是 13.3 评审器的同一条规则:pass 必须带可复现证据,否则自动降级。分级与评审共用一套证据观,才不会出现「分级说 L3、评审过不了」的分裂。
证据还要求时效。两年前跑过的降级演练,不能证明今天的降级路径仍然有效;证据要写明日期,超过一个发布周期就要重跑。本书把「一个发布周期」定为 90 天,与方舟的赛季长度对齐。
双案例的落点
按上面的条件,两款产品的位置不同:
| 维度 | 消消 | 方舟 | 差异原因 |
|---|---|---|---|
| 玩法有效性 | L3 | L3 | 两家都有评测集(120 / 200 条),但都只覆盖单一场景簇 |
| 实时性 | L2 | L4 | 方舟 800ms 预算进了发布门禁;消消秒级可接受,但降级没演练 |
| 玩家信任 | L3 | L4 | 消消举报闭环可查;方舟多了公平性回放审计与付费隔离 |
| 工程治理 | L2 | L3 | 消消有预算无事故演练;方舟有分级、首响与复盘 |
| 整体 | L2 | L3 | 各自的最短板 |
消消的实时性只有 L2,容易被误解成「需求低所以可以不做」。需求低指的是玩家容忍度高,不是故障后果小。消消的陪伴 Agent 一旦在赛后点评上卡住十秒,玩家会直接关掉面板,下一次不再点开;损失的是使用率,不是帧率。需求低不等于可以不演练。
方舟的玩法与治理都停在 L3,原因是跨场景复用还没发生。它的评测集集中在战斗与公平,剧情语气的评测只有零星几条;所有权表也只覆盖战斗侧工件。只要方舟还只有一个主场景,L3 就是合理位置;上 L4 要等第二个场景真正接入。
升级一次只升一维一级
升级节奏比升级目标更重要。可执行的规则有四条:
- 一次只选一个维度。 同时推四维,每个都做一半,年底仍然停在原地。
- 一次只升一级。 从 L2 直接冲 L4,中间的评测与演练会被跳过,级别是虚的。
- 升级前补齐该级全部缺口。 缺口清单由代码给出,不靠会议回忆。
- 升级后 30 天内复评。 复评不过,退回原级别并记录原因。
升级记录至少要留五列:
| 日期 | 维度 | 从 → 到 | 缺口闭合证据 | 复评人 |
|---|---|---|---|---|
| 2026-09-15 | 实时性 | L1 → L2 | 方舟降级演练记录 DR-07 | 平台负责人 |
| 2026-10-20 | 工程治理 | L2 → L3 | 事故复盘 INC-31、INC-34 | 运营负责人 |
记录的作用不是归档,而是防止「级别只升不降」。没有降级记录的成熟度表,通常意味着复评没有真正发生。
把分级写成可运行判定
下面的实现把 16 条准入条件、逐级判定、最短板与缺口清单写成纯函数。
// file: src/govern/maturity.ts
// tier: L1
// verify: node --test test/govern/maturity.test.ts
// 成熟度分级:评的是「出问题时能兜住多少」,不是「用了多少 AI」。
// 四个维度各自逐级达标,整体取最短板,不允许用平均分掩盖空白。
export type Dimension = "gameplay" | "realtime" | "trust" | "ops";
export type Level = 0 | 1 | 2 | 3 | 4;
export type Requirement = {
readonly id: string;
readonly dimension: Dimension;
readonly level: Level;
readonly text: string;
};
export type Claim = {
readonly id: string;
readonly evidence: string;
};
export type Assessment = {
readonly levels: Readonly<Record<Dimension, Level>>;
readonly overall: Level;
readonly weak: readonly Dimension[];
readonly gaps: Readonly<Record<Dimension, readonly string[]>>;
};
export const DIMENSIONS: readonly Dimension[] = ["gameplay", "realtime", "trust", "ops"];
export const REQUIREMENTS: readonly Requirement[] = [
{ id: "g1-scope", dimension: "gameplay", level: 1, text: "一个明确场景,一个可回退的脚本基线" },
{ id: "g2-ab", dimension: "gameplay", level: 2, text: "有对照实验,能说明 Agent 比脚本好在哪" },
{ id: "g3-eval", dimension: "gameplay", level: 3, text: "有评测集与回归,改动前后可比较" },
{ id: "g4-portfolio", dimension: "gameplay", level: 4, text: "多场景共用一套评测口径与准入流程" },
{ id: "r1-budget", dimension: "realtime", level: 1, text: "有单次思考的时间上限,超时走脚本" },
{ id: "r2-fallback", dimension: "realtime", level: 2, text: "降级路径经过演练,不是纸面方案" },
{ id: "r3-monitor", dimension: "realtime", level: 3, text: "P95 延迟与降级率有线上看板与告警" },
{ id: "r4-admission", dimension: "realtime", level: 4, text: "延迟预算进入发布门禁,超标不得上线" },
{ id: "t1-disclose", dimension: "trust", level: 1, text: "玩家知道自己在与 Agent 交互" },
{ id: "t2-boundary", dimension: "trust", level: 2, text: "可说、可做、可展示有明确边界与过滤" },
{ id: "t3-report", dimension: "trust", level: 3, text: "举报、回滚与追责闭环可查" },
{ id: "t4-fair", dimension: "trust", level: 4, text: "公平性有回放审计,付费不影响对抗结果" },
{ id: "o1-owner", dimension: "ops", level: 1, text: "每类工件有所有权人与审批人" },
{ id: "o2-cost", dimension: "ops", level: 2, text: "单位成本有分母口径与预算预警" },
{ id: "o3-incident", dimension: "ops", level: 3, text: "有事故分级、首响与复盘记录" },
{ id: "o4-portfolio", dimension: "ops", level: 4, text: "跨产品共用评测、预算与刹车口径" },
];
// 只有带证据的声明才算满足;空证据等同没做。
export function satisfiedIds(claims: readonly Claim[]): readonly string[] {
return claims
.filter((claim) => claim.evidence.trim() !== "")
.map((claim) => claim.id);
}
export function levelOf(dimension: Dimension, satisfied: readonly string[]): Level {
let level: Level = 0;
for (const target of [1, 2, 3, 4] as const) {
const required = REQUIREMENTS.filter(
(item) => item.dimension === dimension && item.level === target,
);
if (required.every((item) => satisfied.includes(item.id))) {
level = target;
} else {
break;
}
}
return level;
}
export function missingFor(
dimension: Dimension,
target: Level,
satisfied: readonly string[],
): readonly string[] {
return REQUIREMENTS
.filter((item) => item.dimension === dimension && item.level <= target)
.filter((item) => !satisfied.includes(item.id))
.map((item) => item.id);
}
export function assess(claims: readonly Claim[]): Assessment {
const satisfied = satisfiedIds(claims);
const levels: Record<Dimension, Level> = {
gameplay: levelOf("gameplay", satisfied),
realtime: levelOf("realtime", satisfied),
trust: levelOf("trust", satisfied),
ops: levelOf("ops", satisfied),
};
const overall = Math.min(...DIMENSIONS.map((dimension) => levels[dimension])) as Level;
const weak = DIMENSIONS.filter((dimension) => levels[dimension] === overall);
const gaps: Record<Dimension, readonly string[]> = {
gameplay: missingFor("gameplay", Math.min(4, levels.gameplay + 1) as Level, satisfied),
realtime: missingFor("realtime", Math.min(4, levels.realtime + 1) as Level, satisfied),
trust: missingFor("trust", Math.min(4, levels.trust + 1) as Level, satisfied),
ops: missingFor("ops", Math.min(4, levels.ops + 1) as Level, satisfied),
};
return { levels, overall, weak, gaps };
}
// 升级只看下一个目标级:先补哪几项,按缺口列表逐条闭环。
export function upgradeBlockers(assessment: Assessment, target: Level): readonly string[] {
const satisfiedById: string[] = [];
for (const item of REQUIREMENTS) {
if (assessment.levels[item.dimension] >= item.level) satisfiedById.push(item.id);
}
return REQUIREMENTS
.filter((item) => item.level <= target)
.filter((item) => !satisfiedById.includes(item.id))
.map((item) => item.id);
}
REQUIREMENTS 用一张平表存 16 条条件,每条带维度与等级。新增条件时加一行,分级逻辑不用改;把条件散在 if 里,改一条就要读完整段代码。
satisfiedIds 只接受证据非空的声明。这一条把「做过但没记录」挡在门外,和 13.3 的证据规则保持一致。
levelOf 从 L1 往上逐级检查,遇到第一个不满足的等级就停。它不计算比例,也不做加权:缺一条就是没到。这样评审时不会出现「80% 满足 L3」这种无法行动的说法。
missingFor 返回某一维在目标级及以下的全部缺口。它的用途是生成待办,而不是打分;输出是条件 id 列表,每一条都能直接派给负责人。
assess 汇总四维等级并取最小值。weak 返回所有等于最小值的维度,因为最短板可能不止一个;只返回一个会让另一个短板被忽略。
upgradeBlockers 把「到目标级还差什么」汇总成一张清单。它从已达成等级反推,不依赖原始声明,所以可以直接拿分级结果去排下一季度的工作。
分级要能解释给玩家听
成熟度是内部工具,但结论会外溢到玩家侧。两条边界:
- 不要把级别当宣传语。 「L4 智能」对玩家没有意义,玩家只感知到「它有没有乱说」「它是不是在作弊」。
- 不要把级别当免责声明。 「我们只有 L2,所以出错正常」不是解释。玩家需要的是出错后的补救路径,不是内部评级。
对外能说的只有三件事:这个 Agent 能做什么、它什么时候会退出、退出后玩家损失什么。这三件事与级别无关,与 3.3 的降级路径直接相关。
小结
- 成熟度是四维坐标系,不是一条曲线;四个方向分别评级。
- 四维是玩法有效性、实时性、玩家信任、工程治理,各自有负责人与证据来源。
- 每维四级,L1 能用、L2 能兜底、L3 能比较、L4 能治理。
- 每级一条准入条件,全部满足才算到达;缺一条停在上一级。
- 整体取最短板,不用平均分;平均分会稀释完全空白的维度。
- 升级从最短板开始,一次只升一维一级,升级后 30 天内复评。
- 证据必须可复现,空证据按未满足处理;证据超过 90 天要重跑。
- 消消整体 L2(实时与治理是短板),方舟整体 L3(玩法与治理是短板)。
- 需求低不等于可以不演练:消消的实时故障损失的是使用率,不是帧率。
- 级别只用于内部判断,对外只讲能做什么、何时退出、损失什么。
阅读导航:上一节:12.3 供应商与自建的边界 · 下一节:13.2 从单点到系统性能力的路线图 。
常见错误与边界
- 报一个总分。 「我们大概 L3」无法定位问题;四维分开报,短板才会浮出来。
- 用平均分代替最短板。 3/2/3/2 报 2.5,听起来接近 L3,实际一次模型抖动就暴露。
- 把「需求低」当成「不用做」。 消消实时要求低,不等于降级可以不演练;损失的是使用率。
- 证据写成「已确认」。 没有路径、命令或查询,别人无法复现,按未满足处理。
- 一次推四个维度。 每个都做一半,年底仍停在 L2;一次一维一级才能形成记录。
- 级别只升不降。 没有降级记录的成熟度表,通常意味着复评没有真正发生。
- 把分级当成验收。 分级描述当前能力位置,不替代 13.3 的评审门禁;两者必须同时存在。
- 把级别拿去做宣传。 玩家不关心 L4,只关心它会不会乱说、会不会作弊、退出后损失什么。
- 用旧证据证明当前级别。 超过一个发布周期(90 天)的证据要重跑,组织调整后所有权证据尤其容易过期。
- 把 16 条当成行业标准。 它们来自本书的双案例约束;换产品可以增删,但增删要写进分级记录。
分级回答「现在在哪」。知道位置之后,下一个问题是「怎么走到下一级」,以及哪些能力必须排在前面。下一节把升级路径写成依赖图,而不是一张按季度切分的甘特图。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。