《AI Agent 游戏产品开发》13.1 成熟度分级 L0–L4

成熟度不是「我们大概 L3」这样一个自评数字,而是玩法有效性、实时性、玩家信任、工程治理四个方向各自能兜住多少。本节给出 L0–L4 的 16 条准入条件、整体取最短板的判定、证据必须可复现的规则,以及消消与方舟为什么同报 L3 却落在不同级别。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。分级条件与复评节奏均为方法示例,不构成行业标准。

季度评审上,两款产品都报了同一个数字:《潮汐消消》和《潮汐方舟》的 Agent 成熟度「大概 L3」。

主持人追问了三件事:评测集覆盖哪些场景、降级演练上一次跑是什么时候、最近一次事故复盘放在哪。消消答不出第三件,方舟答不出第一件的后半段——它的 200 条评测集中在延迟与公平,几乎没有覆盖剧情语气。

两家都没有说谎。它们只是把四个方向的进度压成了一个数字,而这个数字恰好落在中间。

成熟度不是一条曲线

多数团队把成熟度理解成一条从低到高的曲线,每升一级就「更 AI 一点」。这个理解在游戏里会失效,原因有三条:

  • 四个方向的进度天然不同。玩法有效性的证据在策划手里,实时性的证据在程序手里,信任的证据在运营手里,治理的证据在平台手里。
  • 方向的权重因产品而异。消消的实时要求低,方舟的信任压力大,同一条曲线无法同时描述两者。
  • 故障总是发生在最弱的一维。平均分再高,公平性空白照样会引发舆情。

所以本书的分级不是一条曲线,而是四维坐标系。每一维独立评级,整体取最短板。

四个维度各自定义

维度回答的问题主要证据负责角色
玩法有效性Agent 是否真的让玩法更好对照实验、评测集、留存策划
实时性玩家是否等得起延迟看板、降级演练、发布门禁程序
玩家信任玩家是否愿意继续交互披露、审核、举报闭环、回放审计运营与策划
工程治理出了事能不能兜住所有权、预算、事故记录、复盘平台

四个维度不能互相抵扣。实时性满分不能弥补公平性空白,反过来也一样。这一点和 11.1 的体验护栏是同一条原则:护栏各自独立,不做加权。

维度也不是越多越好。再加「创新能力」「营收贡献」这类维度,分级会退化成 PPT 评分表。四个维度已经覆盖「Agent 能不能用、玩家等不等得起、敢不敢继续玩、出事兜不兜得住」四件事。

L0 到 L4 的准入条件

每一维有四个等级,每个等级一条准入条件。条件全部满足才算到达该级,缺一条就停在上一级。

维度L1 单点L2 兜底L3 可评测L4 可治理
玩法有效性一个明确场景 + 可回退的脚本基线有对照实验,能说明 Agent 比脚本好在哪有评测集与回归,改动前后可比较多场景共用一套评测口径与准入流程
实时性有单次思考时间上限,超时走脚本降级路径经过演练,不是纸面方案P95 延迟与降级率有看板与告警延迟预算进入发布门禁,超标不得上线
玩家信任玩家知道自己在与 Agent 交互可说、可做、可展示有明确边界与过滤举报、回滚与追责闭环可查公平性有回放审计,付费不影响对抗结果
工程治理每类工件有所有权人与审批人单位成本有分母口径与预算预警有事故分级、首响与复盘记录跨产品共用评测、预算与刹车口径

四级的含义可以压成一句话:

  • L1 能用:跑起来了,坏了能切回脚本。
  • L2 能兜底:知道它什么时候坏,坏了有演练过的路径。
  • L3 能比较:改动前后有同一套尺子,能判断「有没有变差」。
  • L4 能治理:不依赖某个人记得,规则进了门禁与流程。

L0 是「未成形」:还没有一个能稳定触发的场景,或者连脚本基线都没有。L0 不是失败,多数新功能都从 L0 开始;危险的是把 L0 写成 L2。

整体取最短板

整体级别是四个维度里的最小值,不是平均值。

形态四维级别平均整体实际含义
消消3 / 2 / 3 / 22.5L2实时与治理没有兜底,一次模型抖动就暴露
方舟3 / 4 / 4 / 33.5L3玩法与治理还没到可治理,跨产品复用会出问题
某新功能1 / 4 / 1 / 11.75L1技术指标漂亮,但玩法与信任都还没建立

平均分会把「某一维完全空白」稀释掉。消消的 3/2/3/2 如果报 2.5,评审听到的是「接近 L3」;但实时性只有 L2,意味着降级路径没有演练过,模型延迟抖动时玩家看到的是卡住,不是「平均 2.5」。

最短板还有一层含义:升级必须从最短板开始。 先把 L2 补到 L3,整体才可能变 L3;先去把已经 L3 的维度推到 L4,整体仍然是 L2。

证据是分级的一部分

分级只承认带证据的声明。空证据的声明按未满足处理,哪怕团队确实做过。

三种常见的假证据:

说法问题可接受的替代
「已确认」没有文件、命令或查询,别人无法复现文件路径、测试命令输出、线上查询语句
「做过一次」没有记录,换个人就不知道怎么做演练记录 + 日期 + 参与人
「设计里有」没有实现,也没有运行过实现路径 + 最近一次运行结果

这也是 13.3 评审器的同一条规则:pass 必须带可复现证据,否则自动降级。分级与评审共用一套证据观,才不会出现「分级说 L3、评审过不了」的分裂。

证据还要求时效。两年前跑过的降级演练,不能证明今天的降级路径仍然有效;证据要写明日期,超过一个发布周期就要重跑。本书把「一个发布周期」定为 90 天,与方舟的赛季长度对齐。

双案例的落点

按上面的条件,两款产品的位置不同:

维度消消方舟差异原因
玩法有效性L3L3两家都有评测集(120 / 200 条),但都只覆盖单一场景簇
实时性L2L4方舟 800ms 预算进了发布门禁;消消秒级可接受,但降级没演练
玩家信任L3L4消消举报闭环可查;方舟多了公平性回放审计与付费隔离
工程治理L2L3消消有预算无事故演练;方舟有分级、首响与复盘
整体L2L3各自的最短板

消消的实时性只有 L2,容易被误解成「需求低所以可以不做」。需求低指的是玩家容忍度高,不是故障后果小。消消的陪伴 Agent 一旦在赛后点评上卡住十秒,玩家会直接关掉面板,下一次不再点开;损失的是使用率,不是帧率。需求低不等于可以不演练。

方舟的玩法与治理都停在 L3,原因是跨场景复用还没发生。它的评测集集中在战斗与公平,剧情语气的评测只有零星几条;所有权表也只覆盖战斗侧工件。只要方舟还只有一个主场景,L3 就是合理位置;上 L4 要等第二个场景真正接入。

升级一次只升一维一级

升级节奏比升级目标更重要。可执行的规则有四条:

  1. 一次只选一个维度。 同时推四维,每个都做一半,年底仍然停在原地。
  2. 一次只升一级。 从 L2 直接冲 L4,中间的评测与演练会被跳过,级别是虚的。
  3. 升级前补齐该级全部缺口。 缺口清单由代码给出,不靠会议回忆。
  4. 升级后 30 天内复评。 复评不过,退回原级别并记录原因。

升级记录至少要留五列:

日期维度从 → 到缺口闭合证据复评人
2026-09-15实时性L1 → L2方舟降级演练记录 DR-07平台负责人
2026-10-20工程治理L2 → L3事故复盘 INC-31、INC-34运营负责人

记录的作用不是归档,而是防止「级别只升不降」。没有降级记录的成熟度表,通常意味着复评没有真正发生。

把分级写成可运行判定

下面的实现把 16 条准入条件、逐级判定、最短板与缺口清单写成纯函数。

// file: src/govern/maturity.ts
// tier: L1
// verify: node --test test/govern/maturity.test.ts

// 成熟度分级:评的是「出问题时能兜住多少」,不是「用了多少 AI」。
// 四个维度各自逐级达标,整体取最短板,不允许用平均分掩盖空白。

export type Dimension = "gameplay" | "realtime" | "trust" | "ops";

export type Level = 0 | 1 | 2 | 3 | 4;

export type Requirement = {
  readonly id: string;
  readonly dimension: Dimension;
  readonly level: Level;
  readonly text: string;
};

export type Claim = {
  readonly id: string;
  readonly evidence: string;
};

export type Assessment = {
  readonly levels: Readonly<Record<Dimension, Level>>;
  readonly overall: Level;
  readonly weak: readonly Dimension[];
  readonly gaps: Readonly<Record<Dimension, readonly string[]>>;
};

export const DIMENSIONS: readonly Dimension[] = ["gameplay", "realtime", "trust", "ops"];

export const REQUIREMENTS: readonly Requirement[] = [
  { id: "g1-scope", dimension: "gameplay", level: 1, text: "一个明确场景,一个可回退的脚本基线" },
  { id: "g2-ab", dimension: "gameplay", level: 2, text: "有对照实验,能说明 Agent 比脚本好在哪" },
  { id: "g3-eval", dimension: "gameplay", level: 3, text: "有评测集与回归,改动前后可比较" },
  { id: "g4-portfolio", dimension: "gameplay", level: 4, text: "多场景共用一套评测口径与准入流程" },
  { id: "r1-budget", dimension: "realtime", level: 1, text: "有单次思考的时间上限,超时走脚本" },
  { id: "r2-fallback", dimension: "realtime", level: 2, text: "降级路径经过演练,不是纸面方案" },
  { id: "r3-monitor", dimension: "realtime", level: 3, text: "P95 延迟与降级率有线上看板与告警" },
  { id: "r4-admission", dimension: "realtime", level: 4, text: "延迟预算进入发布门禁,超标不得上线" },
  { id: "t1-disclose", dimension: "trust", level: 1, text: "玩家知道自己在与 Agent 交互" },
  { id: "t2-boundary", dimension: "trust", level: 2, text: "可说、可做、可展示有明确边界与过滤" },
  { id: "t3-report", dimension: "trust", level: 3, text: "举报、回滚与追责闭环可查" },
  { id: "t4-fair", dimension: "trust", level: 4, text: "公平性有回放审计,付费不影响对抗结果" },
  { id: "o1-owner", dimension: "ops", level: 1, text: "每类工件有所有权人与审批人" },
  { id: "o2-cost", dimension: "ops", level: 2, text: "单位成本有分母口径与预算预警" },
  { id: "o3-incident", dimension: "ops", level: 3, text: "有事故分级、首响与复盘记录" },
  { id: "o4-portfolio", dimension: "ops", level: 4, text: "跨产品共用评测、预算与刹车口径" },
];

// 只有带证据的声明才算满足;空证据等同没做。
export function satisfiedIds(claims: readonly Claim[]): readonly string[] {
  return claims
    .filter((claim) => claim.evidence.trim() !== "")
    .map((claim) => claim.id);
}

export function levelOf(dimension: Dimension, satisfied: readonly string[]): Level {
  let level: Level = 0;
  for (const target of [1, 2, 3, 4] as const) {
    const required = REQUIREMENTS.filter(
      (item) => item.dimension === dimension && item.level === target,
    );
    if (required.every((item) => satisfied.includes(item.id))) {
      level = target;
    } else {
      break;
    }
  }
  return level;
}

export function missingFor(
  dimension: Dimension,
  target: Level,
  satisfied: readonly string[],
): readonly string[] {
  return REQUIREMENTS
    .filter((item) => item.dimension === dimension && item.level <= target)
    .filter((item) => !satisfied.includes(item.id))
    .map((item) => item.id);
}

export function assess(claims: readonly Claim[]): Assessment {
  const satisfied = satisfiedIds(claims);
  const levels: Record<Dimension, Level> = {
    gameplay: levelOf("gameplay", satisfied),
    realtime: levelOf("realtime", satisfied),
    trust: levelOf("trust", satisfied),
    ops: levelOf("ops", satisfied),
  };
  const overall = Math.min(...DIMENSIONS.map((dimension) => levels[dimension])) as Level;
  const weak = DIMENSIONS.filter((dimension) => levels[dimension] === overall);
  const gaps: Record<Dimension, readonly string[]> = {
    gameplay: missingFor("gameplay", Math.min(4, levels.gameplay + 1) as Level, satisfied),
    realtime: missingFor("realtime", Math.min(4, levels.realtime + 1) as Level, satisfied),
    trust: missingFor("trust", Math.min(4, levels.trust + 1) as Level, satisfied),
    ops: missingFor("ops", Math.min(4, levels.ops + 1) as Level, satisfied),
  };
  return { levels, overall, weak, gaps };
}

// 升级只看下一个目标级:先补哪几项,按缺口列表逐条闭环。
export function upgradeBlockers(assessment: Assessment, target: Level): readonly string[] {
  const satisfiedById: string[] = [];
  for (const item of REQUIREMENTS) {
    if (assessment.levels[item.dimension] >= item.level) satisfiedById.push(item.id);
  }
  return REQUIREMENTS
    .filter((item) => item.level <= target)
    .filter((item) => !satisfiedById.includes(item.id))
    .map((item) => item.id);
}

REQUIREMENTS 用一张平表存 16 条条件,每条带维度与等级。新增条件时加一行,分级逻辑不用改;把条件散在 if 里,改一条就要读完整段代码。

satisfiedIds 只接受证据非空的声明。这一条把「做过但没记录」挡在门外,和 13.3 的证据规则保持一致。

levelOf 从 L1 往上逐级检查,遇到第一个不满足的等级就停。它不计算比例,也不做加权:缺一条就是没到。这样评审时不会出现「80% 满足 L3」这种无法行动的说法。

missingFor 返回某一维在目标级及以下的全部缺口。它的用途是生成待办,而不是打分;输出是条件 id 列表,每一条都能直接派给负责人。

assess 汇总四维等级并取最小值。weak 返回所有等于最小值的维度,因为最短板可能不止一个;只返回一个会让另一个短板被忽略。

upgradeBlockers 把「到目标级还差什么」汇总成一张清单。它从已达成等级反推,不依赖原始声明,所以可以直接拿分级结果去排下一季度的工作。

分级要能解释给玩家听

成熟度是内部工具,但结论会外溢到玩家侧。两条边界:

  • 不要把级别当宣传语。 「L4 智能」对玩家没有意义,玩家只感知到「它有没有乱说」「它是不是在作弊」。
  • 不要把级别当免责声明。 「我们只有 L2,所以出错正常」不是解释。玩家需要的是出错后的补救路径,不是内部评级。

对外能说的只有三件事:这个 Agent 能做什么、它什么时候会退出、退出后玩家损失什么。这三件事与级别无关,与 3.3 的降级路径直接相关。

小结

  • 成熟度是四维坐标系,不是一条曲线;四个方向分别评级。
  • 四维是玩法有效性、实时性、玩家信任、工程治理,各自有负责人与证据来源。
  • 每维四级,L1 能用、L2 能兜底、L3 能比较、L4 能治理。
  • 每级一条准入条件,全部满足才算到达;缺一条停在上一级。
  • 整体取最短板,不用平均分;平均分会稀释完全空白的维度。
  • 升级从最短板开始,一次只升一维一级,升级后 30 天内复评。
  • 证据必须可复现,空证据按未满足处理;证据超过 90 天要重跑。
  • 消消整体 L2(实时与治理是短板),方舟整体 L3(玩法与治理是短板)。
  • 需求低不等于可以不演练:消消的实时故障损失的是使用率,不是帧率。
  • 级别只用于内部判断,对外只讲能做什么、何时退出、损失什么。

阅读导航:上一节:12.3 供应商与自建的边界 · 下一节:13.2 从单点到系统性能力的路线图 。

常见错误与边界

  1. 报一个总分。 「我们大概 L3」无法定位问题;四维分开报,短板才会浮出来。
  2. 用平均分代替最短板。 3/2/3/2 报 2.5,听起来接近 L3,实际一次模型抖动就暴露。
  3. 把「需求低」当成「不用做」。 消消实时要求低,不等于降级可以不演练;损失的是使用率。
  4. 证据写成「已确认」。 没有路径、命令或查询,别人无法复现,按未满足处理。
  5. 一次推四个维度。 每个都做一半,年底仍停在 L2;一次一维一级才能形成记录。
  6. 级别只升不降。 没有降级记录的成熟度表,通常意味着复评没有真正发生。
  7. 把分级当成验收。 分级描述当前能力位置,不替代 13.3 的评审门禁;两者必须同时存在。
  8. 把级别拿去做宣传。 玩家不关心 L4,只关心它会不会乱说、会不会作弊、退出后损失什么。
  9. 用旧证据证明当前级别。 超过一个发布周期(90 天)的证据要重跑,组织调整后所有权证据尤其容易过期。
  10. 把 16 条当成行业标准。 它们来自本书的双案例约束;换产品可以增删,但增删要写进分级记录。

分级回答「现在在哪」。知道位置之后,下一个问题是「怎么走到下一级」,以及哪些能力必须排在前面。下一节把升级路径写成依赖图,而不是一张按季度切分的甘特图。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图