《AI Agent 产品开发·组织、平台与规模化》10.1 能力路线图

能力路线图按责任扩张排,不按模型能力排。本节给一个五列模板:多承担哪一步、门槛、证据、回退、负责人;用 A Relay、B Quill、C Runner 各排一年,并说明为什么不能照抄模型发布节奏,最后给出一段可运行的年度排期与 TypeScript 判定函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

能力路线图最常见的写法是「Q1 接入新模型,Q2 支持多模态,Q3 上多 Agent」。这种写法的问题不是排得不对,而是它把外部能力当成了自己的进度。模型什么时候发布,不由你决定;客户什么时候敢把下一步交给你,才由你决定。

这一节给另一种排法:按责任扩张排。每一格不问「我们能不能做」,而问「我们准备多承担哪一步、用什么证据证明、失败时退回哪里、谁对这一步负责」。

路线图的单位是责任,不是能力

同一个模型能力,可以对应完全不同的责任扩张。接入更强的推理,可能只是让建议更准;也可能是从「建议」走到「草稿」,从「草稿」走到「执行」。前者是能力升级,后者是责任升级,两者的门槛、证据与回退都不一样。

路线图单位回答的问题典型写法失败后果
能力我们能做什么Q2 支持工具调用做出来了,但没人敢用
功能界面上多什么Q3 上线审批页页面有了,审批点仍过密
责任客户敢把哪一步交出来Q3 从建议走到草稿门槛不清,放量失控

按责任排,路线图天然带三个约束:每一格必须有门槛、必须有回退、必须有负责人。按能力排,这三样都可以省略,于是路线图变成了一张愿望清单。

三案例各排一年

三个案例的放量时长与复制周期都来自事实表。把放量阶段直接当作路线图的骨架,一年怎么排就清楚了。

A Relay 的第一个产品周期是 10 周,放量三段是试点 3 周、扩大 4 周、全量 4 周,合计 11 周。一年可以这样排:Q1 试点 10% 工单,门槛是采纳率 ≥ 70.0%、错误率 ≤ 4.0%;Q2 扩大 40%,门槛是 ≥ 75.0%、≤ 3.0%;Q3 全量并连续 4 周达标;Q4 不扩张自主度,只做审计与规则维护。A 全年用掉 11 周,剩余 41 周用于稳定运行。它不把「建议档升审批档」排进一年,因为组织接受度这条线没有变。

B Quill 的放量三段是试点 6 周、扩大 8 周、全量 8 周,合计 22 周;第二个产品周期 11 周,复制周期比 0.69。一年可以排成:Q1 试点 2 个客户组(约 12%),返工率 ≤ 15.0%、事实错误 ≤ 7.0%;Q2 扩到 6 个客户组(约 45%),≤ 12.0%、≤ 5.0%;Q3 全量并连续 8 周达标;Q4 用 11 周做第二个产品(纪要)。全年用掉 33 周,留 19 周缓冲。

C Runner 的放量四段是影子 4 周、执行 5% 4 周、执行 20% 8 周、执行 60% 8 周,合计 24 周;第二条任务线 9 周,复制周期比 0.64。一年可以排成:Q1 影子运行 4 周、再执行 5% 低风险动作 4 周;Q2 执行 20% 并加入中风险动作;Q3 执行 60%,不含高风险动作;Q4 用 9 周复制第二条任务线。全年用掉 33 周,留 19 周缓冲。

案例一年怎么用已用 / 缓冲自主度是否变
A Relay试点 3 周 + 扩大 4 周 + 全量 4 周11 / 41 周不变,仍是建议档
B Quill放量 22 周 + 第二个产品 11 周33 / 19 周不变,仍是草稿档
C Runner放量 24 周 + 第二条任务线 9 周33 / 19 周不变,执行上限仍是 60%

这张表最重要的不是周数,而是最后一列:三家在一年内都没有改变自主档。路线图扩张的是覆盖范围与责任边界,不是「让 Agent 更自主」。A 从 10% 扩到 100%,仍然是建议档;C 从影子走到 60%,高风险动作仍然人工。把「升档」当成路线图的默认目标,是很多 Agent 产品失控的起点。

为什么不能照抄模型发布节奏

模型发布节奏不能当路线图,有三个原因。

第一,模型发布是输入,不是产出。供应商发布新模型,只说明你多了一个可选零件;它不说明你的客户已经准备好把下一步交出来。路线图的产出是「哪一步的责任被接住了」,不是「我们用了第几代模型」。

第二,模型升级会打断既有门槛。A 的分诊正确率、B 的一次采纳率、C 的审计错误率,都是在一组模型与提示词下测出来的。换模型之后,这些指标要重新跑;如果路线图按模型发布排,就会在门槛还没重新达标时被迫进入下一格。

第三,客户核对的是连续周数,不是版本号。A 要连续 4 周达标,B 与 C 要连续 8 周。模型可以在第 3 周发布,但连续周数不会因此清零重来;路线图必须允许「模型换了,门槛重跑,但责任不提前扩张」。

所以正确的做法是:模型发布进入「技术准备」泳道,路线图进入「责任扩张」泳道。技术准备可以随时发生,责任扩张只在门槛达标后发生。两条泳道可以在季度评审上对齐,但不能互相替代。门槛重跑依赖一套稳定的评测集与回归门禁,这套机制在 评测集治理 里有完整做法;本节只讨论路线图如何消费它的结论。

路线图模板

把每一格写成五行,路线图就可以被评审,而不是被朗读。

列要写什么反例
责任扩张多承担哪一步、覆盖从多少到多少提升智能化水平
门槛可计算的指标与连续时长效果明显改善
证据哪个报表、哪次抽检、谁签字团队认为可以
回退失败时退回哪一档、保留什么视情况调整
负责人谁对这一步的结果负责项目组

五列里最容易漏的是「回退」。没有回退的路线图,等于把每一格都写成单行道;一旦门槛没过,团队只能硬着头皮往前,或者整条线停摆。三案例的回退都很具体:A 退回人工分诊并保留建议日志,B 回到上一版模板并逐份人工起草,C 暂停批次并回到影子模式。

把路线图写成可检查的函数

下面的模型把三案例的阶段、门槛、放量周数与复制周期写进同一个文件。它不替你做战略选择,只检查一件事:这一格现在能不能进。

// file: src/scale/10-1-capability-roadmap.ts
// tier: L2
// verify: node --test test/scale/10-1-capability-roadmap.test.ts

// 能力路线图按「责任扩张」排,不按「模型能力」排。
// 每一格回答:多承担哪一步、用什么门槛证明、失败时退回到哪里。

import { QUILL, RELAY, RUNNER, type Profile } from "../cases.ts";

export type CaseKey = "A" | "B" | "C";

export type Gate = {
  // 通过门槛用的比率,单位基点。
  readonly primaryBps: number;
  readonly secondaryBps: number;
  // 主指标是「越高越好」还是「越低越好」;副指标同理。
  readonly primaryDirection: "min" | "max";
  readonly secondaryDirection: "min" | "max";
  readonly consecutiveWeeks: number;
  readonly rule: string;
};

export type Stage = {
  readonly id: string;
  readonly label: string;
  // 执行覆盖:千分之几的任务量由 Agent 自动完成。影子阶段为 0。
  readonly coverageBps: number;
  readonly mode: "shadow" | "execute";
  readonly gate: Gate;
  readonly fallback: string;
};

export const ROADMAP: Record<CaseKey, readonly Stage[]> = {
  A: [
    {
      id: "pilot",
      label: "试点 10% 工单",
      coverageBps: 1_000,
      mode: "execute",
      gate: {
        primaryBps: 7_000,
        secondaryBps: 400,
        primaryDirection: "max",
        secondaryDirection: "min",
        consecutiveWeeks: 3,
        rule: "采纳率 ≥ 70.0%,错误率 ≤ 4.0%",
      },
      fallback: "退回人工分诊,保留建议日志",
    },
    {
      id: "expand",
      label: "扩大 40% 工单",
      coverageBps: 4_000,
      mode: "execute",
      gate: {
        primaryBps: 7_500,
        secondaryBps: 300,
        primaryDirection: "max",
        secondaryDirection: "min",
        consecutiveWeeks: 4,
        rule: "采纳率 ≥ 75.0%,错误率 ≤ 3.0%",
      },
      fallback: "回退到试点范围,复核队列规则",
    },
    {
      id: "full",
      label: "全量 100% 工单",
      coverageBps: 10_000,
      mode: "execute",
      gate: {
        primaryBps: 7_500,
        secondaryBps: 300,
        primaryDirection: "max",
        secondaryDirection: "min",
        consecutiveWeeks: 4,
        rule: "连续 4 周达到扩大阶段门槛",
      },
      fallback: "保留人工兜底队列,不撤确认点",
    },
  ],
  B: [
    {
      id: "pilot",
      label: "试点 2 个客户组(约 12%)",
      coverageBps: 1_200,
      mode: "execute",
      gate: {
        primaryBps: 1_500,
        secondaryBps: 700,
        primaryDirection: "min",
        secondaryDirection: "min",
        consecutiveWeeks: 6,
        rule: "返工率 ≤ 15.0%,事实错误 ≤ 7.0%",
      },
      fallback: "回到上一版模板,逐份人工起草",
    },
    {
      id: "expand",
      label: "扩大 6 个客户组(约 45%)",
      coverageBps: 4_500,
      mode: "execute",
      gate: {
        primaryBps: 1_200,
        secondaryBps: 500,
        primaryDirection: "min",
        secondaryDirection: "min",
        consecutiveWeeks: 8,
        rule: "返工率 ≤ 12.0%,事实错误 ≤ 5.0%",
      },
      fallback: "缩回试点客户组,冻结模板变更",
    },
    {
      id: "full",
      label: "全量客户组",
      coverageBps: 10_000,
      mode: "execute",
      gate: {
        primaryBps: 1_200,
        secondaryBps: 500,
        primaryDirection: "min",
        secondaryDirection: "min",
        consecutiveWeeks: 8,
        rule: "连续 8 周达到扩大阶段门槛",
      },
      fallback: "保留按月抽检,审改不可压缩",
    },
  ],
  C: [
    {
      id: "shadow",
      label: "影子运行,100% 只记录",
      coverageBps: 0,
      mode: "shadow",
      gate: {
        primaryBps: 8_500,
        secondaryBps: 0,
        primaryDirection: "max",
        secondaryDirection: "min",
        consecutiveWeeks: 4,
        rule: "与人工决策一致率 ≥ 85.0%",
      },
      fallback: "不执行任何动作,只留对比记录",
    },
    {
      id: "execute-5",
      label: "执行 5%,只做低风险动作",
      coverageBps: 500,
      mode: "execute",
      gate: {
        primaryBps: 200,
        secondaryBps: 0,
        primaryDirection: "min",
        secondaryDirection: "min",
        consecutiveWeeks: 4,
        rule: "错误率 ≤ 2.0%,零不可回滚错误",
      },
      fallback: "暂停批次,回到影子模式",
    },
    {
      id: "execute-20",
      label: "执行 20%,加入中风险动作",
      coverageBps: 2_000,
      mode: "execute",
      gate: {
        primaryBps: 180,
        secondaryBps: 10_000,
        primaryDirection: "min",
        secondaryDirection: "max",
        consecutiveWeeks: 8,
        rule: "错误率 ≤ 1.8%,回滚成功率 100.0%",
      },
      fallback: "退回 5% 低风险动作,补齐回滚演练",
    },
    {
      id: "execute-60",
      label: "执行 60%,不含高风险动作",
      coverageBps: 6_000,
      mode: "execute",
      gate: {
        primaryBps: 180,
        secondaryBps: 10_000,
        primaryDirection: "min",
        secondaryDirection: "max",
        consecutiveWeeks: 8,
        rule: "连续 8 周达到 20% 阶段门槛",
      },
      fallback: "停在 60%,高风险动作永久人工",
    },
  ],
};

// 放量阶段时长取自事实表:A 3+4+4 周,B 6+8+8 周,C 4+4+8+8 周。
export const ROLLOUT_WEEKS: Record<CaseKey, readonly number[]> = {
  A: [3, 4, 4],
  B: [6, 8, 8],
  C: [4, 4, 8, 8],
};

// 第二个产品的复制周期:A 没有第二个产品,B 为 11 周,C 为 9 周。
export const SECOND_CYCLE_WEEKS: Record<CaseKey, number | null> = {
  A: null,
  B: 11,
  C: 9,
};

export const YEAR_WEEKS = 52;

export type YearPlan = {
  readonly key: CaseKey;
  readonly profile: Profile;
  readonly stages: readonly Stage[];
  readonly rolloutWeeks: number;
  readonly secondCycleWeeks: number;
  readonly usedWeeks: number;
  readonly bufferWeeks: number;
  readonly maxCoverageBps: number;
};

export function planYear(key: CaseKey): YearPlan {
  const stages = ROADMAP[key];
  const rolloutWeeks = ROLLOUT_WEEKS[key].reduce((acc, v) => acc + v, 0);
  const second = SECOND_CYCLE_WEEKS[key] ?? 0;
  const usedWeeks = rolloutWeeks + second;
  const profile = key === "A" ? RELAY : key === "B" ? QUILL : RUNNER;

  return {
    key,
    profile,
    stages,
    rolloutWeeks,
    secondCycleWeeks: second,
    usedWeeks,
    bufferWeeks: YEAR_WEEKS - usedWeeks,
    maxCoverageBps: Math.max(...stages.map((stage) => stage.coverageBps)),
  };
}

// 路线图不能排到「模型发布了什么」上:模型发布是外部事件,
// 责任扩张必须等自己的门槛连续达标。这个函数只回答「这一格能不能进」。
export function canAdvance(
  key: CaseKey,
  stageId: string,
  primaryBps: number,
  secondaryBps: number,
  consecutiveWeeks: number,
): boolean {
  const stage = ROADMAP[key].find((item) => item.id === stageId);
  if (!stage) return false;

  const primaryOk =
    stage.gate.primaryDirection === "max"
      ? primaryBps >= stage.gate.primaryBps
      : primaryBps <= stage.gate.primaryBps;

  const secondaryOk =
    stage.gate.secondaryDirection === "max"
      ? secondaryBps >= stage.gate.secondaryBps
      : secondaryBps <= stage.gate.secondaryBps;

  return (
    primaryOk &&
    secondaryOk &&
    consecutiveWeeks >= stage.gate.consecutiveWeeks
  );
}

代码里的 planYear 只做加法:放量周数加上第二个产品周期,得到已用周数,再用 52 周减出缓冲。A 是 11 / 41,B 与 C 都是 33 / 19,与上面的表一致。

canAdvance 用 primaryDirection 与 secondaryDirection 处理两类指标:采纳率、一致率、回滚成功率是越高越好,错误率、返工率、事实错误率是越低越好。它不判断战略,只判断「连续周数够不够、两个指标是否同时过线」。这条规则看起来笨,但它能挡住最常见的路线图错误:拿一个漂亮指标掩盖另一个没达标的指标。

小结

  • 能力路线图按责任扩张排,不按模型能力排;每一格回答「多承担哪一步」,而不是「我们能不能做」。
  • 每一格必须有五列:责任扩张、门槛、证据、回退、负责人;缺一列就会退化成愿望清单。
  • A Relay 一年用 11 周放量、留 41 周稳定,自主度不变;B Quill 用 33 周(放量 22 + 第二产品 11),留 19 周;C Runner 用 33 周(放量 24 + 第二任务线 9),留 19 周。
  • 三家一年内都不升自主档:A 仍是建议档,B 仍是草稿档,C 的执行上限仍是 60%。
  • 模型发布是输入,不是产出;换模型要重跑门槛,但不能因此提前扩张责任。
  • 客户核对的是连续达标周数:A 4 周,B 与 C 8 周;版本号不能替代连续周数。
  • 回退不是路线图的附录,是每一格的必要列;没有回退,门槛失败时只能硬撑或停摆。

阅读导航:上一节:9.3 定位:比「更聪明」更持久的说法 · 下一节:10.2 发布节奏与提示词发布 。

常见错误与边界

  1. 把模型发布当路线图。 供应商发布新模型只增加一个可选零件,不改变客户愿意交出的责任范围。
  2. 把升档当默认目标。 路线图扩张的是覆盖与责任边界;A 全年建议档、C 全年执行上限 60%,都不是失败。
  3. 只写门槛,不写连续时长。 一次达标可能是运气;A 要 4 周、B 与 C 要 8 周,连续时长是门槛的一部分。
  4. 只写主指标,不写副指标。 采纳率高但错误率也高,不是进步;两个方向相反的指标必须同时过线。
  5. 省略回退列。 没有回退的路线图是单行道;门槛失败时,团队只能硬撑或整条线停摆。
  6. 把季度排满。 三案例都留了缓冲:A 41 周、B 与 C 各 19 周;排满的路线图没有空间处理门槛重跑与审计。

路线图定下来之后,下一个问题是:每一格里的变更怎么发出去,尤其是提示词与模板这种看起来像文案、实际上会改变责任的东西。下一节讲发布节奏。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图