《AI Agent 产品开发·交互、信任与上线》13.3 从上线到规模化

本节收口卷二:总结形态、可见、可控、可核对、可放量五条结论,用组合、复用、平台边界、退出路径、复制周期五个判据说明三家谁能进入规模化,并给出可运行的规模化判据模型、A/B/C 的成熟度定位、复制周期比与卷三 15 项组织评审的预告,帮助团队判断该补控制还是该开始复制。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

卷二最后一节要回答的问题不是「还能做什么」,而是「做完的这一套能不能复制」。一个 Agent 产品能跑,靠的是一组针对场景的取舍;一条产品线能跑,靠的是这些取舍能被第二、第三个产品复用。

这一节先收口卷二,再给出进入卷三的判据,最后预告卷三要处理的组织与平台问题。

卷二交付的五条结论

第一条:交互形态由任务在场方式决定。 A Relay 在工单页侧栏,因为分诊需要工单上下文;B Quill 在报告编辑器,因为初稿要被人接着改;C Runner 在后台任务中心,因为执行发生在人不在场的时候。形态不是审美选择,它决定了用户在哪一刻看见 Agent、能不能打断、错误多久被发现。

第二条:可见性要匹配责任。 A 给 L2 依据,因为人要在采纳前判断;B 给 L1 步骤,因为审改人主要看章节进度;C 给 L3 全程,因为执行档必须能回放每个动作的规则与快照。三家都给 L3,等于没有设计;三家都给一句话,等于把核对成本转给用户。

第三条:可控性要拆成打断、纠偏、撤销三件事。 打断回答「能不能停」,停完状态还在不在;纠偏回答「能不能只改错的那一步」,而不是从头再来;撤销回答「能撤什么、多长时间内可撤、撤不了怎么补偿」。A 的停止是中止,B 是暂停可继续,C 是暂停加回滚;C 的 86% 动作可反向执行,14% 已发通知只能补偿。

第四条:信任来自可核对与可观测。 来源可追溯让结论指向具体输入,解释分层让不同场景拿到不同信息量,审批设计让不可逆动作前有人点头。但只设计不够:审批按钮有没有被无脑点同意、解释有没有人展开、降级有没有人敢触发,都必须被观测。控制机制本身也要有指标。

第五条:上线是基线,放量是风险暴露。 上线基线包含形态、放量路径、试点结论、回滚阈值四组承诺;放量单位不是用户百分比,而是绝对暴露量。A 的 10% 是 2,640 单,B 的约 12% 是 73 份,C 的 5% 是 660 个任务。三家都必须在评审达到 20 / 30 后才谈全量。

结论回答的问题三家的一致做法三家的差异
形态用户在哪遇到它都按任务场景选侧栏 / 编辑器 / 后台
可见用户要看到哪一级都按责任定级L2 / L1 / L3
可控出事时怎么接住都有停止与撤销中止 / 暂停 / 暂停+回滚
可核对凭什么相信它都有来源与解释三层完整度不同
可放量一次放多少都分层并设阈值7 / 14 / 24 周

五条结论不是五个并列的功能,而是一条链:形态决定可见性的落点,可见性决定可控性的入口,可控性决定信任能不能建立,信任决定放量敢不敢加速。任何一环缺失,后面都会被拖慢。

一个产品能跑,不等于一条产品线能跑

A 的分诊产品跑起来了,但它只有 1 个在运营产品,能力复用率 0%,没有平台形态,退出恢复时长未知。它证明的是「这个场景可行」,不是「这套方法可复制」。

B 有 2 个在运营产品(报告、纪要),能力复用率约 30%,第二个产品周期 11 周、第一个 16 周,复制周期比 0.69。它已经有复制的迹象,但没有把平台边界写成文,第二个产品仍然靠同一批人重做了一遍。

C 有 3 条任务线,能力复用率约 55%,有内部平台(调度 + 审计 + 回滚),平台边界有一页成文,退出恢复约 4 小时,第二个产品周期 9 周、第一个 14 周,复制周期比 0.64。它是三家唯一接近「产品线」形态的。

事实A RelayB QuillC Runner
在运营产品1 个2 个3 条任务线
能力复用率0%约 30%约 55%
平台形态无无(工具集合)内部平台
平台边界成文否否是(一页)
退出恢复时长未知2 周4 小时
第一个产品周期10 周16 周14 周
第二个产品周期—11 周9 周
复制周期比—0.690.64
成熟度L2L2L3

这张表说明,规模化的差距不在模型能力,而在三件组织资产:可复用的能力、写清楚的平台边界、量得出来的退出路径。三者缺一,第二个产品就会退化成「再做一遍」。

进入卷三的判据

卷三讲组织、平台与规模化。进入卷三学习没有门槛,但要把卷三的方法用于规模化,需要先过五道判据。它们不是能力评分,而是「有没有可复制的载体」。

判据通过标准ABC
组合在运营产品 ≥ 21,未过2,通过3,通过
复用能力复用率 ≥ 30%0%,未过30%,通过55%,通过
平台平台边界成文否,未过否,未过是,通过
退出退出恢复时长可估未知,未过2 周,通过4 小时,通过
复制第二周期短于第一周期无第二产品,未过0.69,通过0.64,通过

按这五道判据,A 通过 0 道,B 通过 4 道,C 通过 5 道。

但这不等于 B 可以立即规模化。卷二评审 B 只有 16 / 30,低于 20 分门槛;它的第 19 项纠偏与第 28 项试点设计都是 0 分。B 的规模化路径必须先补控制,再谈复制。C 的卷二评审 24 / 30,五道判据全过,但第 29 项放量规则仍是 0 分:它的回滚从未演练。按附录 C「0 分项必须在放量前解决」的规则,C 的第一件事也是补回滚演练,而不是直接复制。

复用门槛取 B 的 30%,不另造一个更高的数。这个门槛的作用不是评优,而是判断「第二个产品有没有少做一遍」;低于它,所谓复用只是共享了几个提示词。

因此,「进入卷三」要分两层:

  • 学习资格:任何团队都可以读卷三,用它的 15 项检查自己的组织准备度。
  • 规模化资格:五道判据全过、卷二评审 ≥ 20 / 30、且 0 分项已清零。三条同时满足才叫「可以规模化」,不是「读过卷三」。

把规模化判据写成模型

下面这个模型把五道判据、复制周期比与成熟度写成可执行判断。它不评价产品好不好,只回答「这套东西有没有可复制的载体」。

// file: src/rollout/13-3-into-scale.ts
// tier: L2
// verify: node --test test/rollout/13-3-into-scale.test.ts

// 一个产品能跑,不等于一条产品线能跑。
// 规模化判据只看五件事:组合、复用、平台边界、退出路径、复制周期。

import { divide, type Bps } from "../core/rate.ts";

export type CaseKey = "A" | "B" | "C";
export type Maturity = "L1" | "L2" | "L3" | "L4" | "L5";

export const MATURITY_ORDER: readonly Maturity[] = [
  "L1",
  "L2",
  "L3",
  "L4",
  "L5",
];

export type ScaleFacts = {
  readonly key: CaseKey;
  readonly productsInOperation: number;
  readonly reuseBps: Bps;
  readonly platformBoundaryWritten: boolean;
  readonly exitRecoveryHours: number | null;
  readonly firstCycleWeeks: number | null;
  readonly secondCycleWeeks: number | null;
};

// 事实表第十节:A 1 个产品 / 0% 复用 / 退出恢复未知;
// B 2 个 / 30% / 2 周;C 3 个 / 55% / 4 小时。
export const SCALE_FACTS: Record<CaseKey, ScaleFacts> = {
  A: {
    key: "A",
    productsInOperation: 1,
    reuseBps: 0,
    platformBoundaryWritten: false,
    exitRecoveryHours: null,
    firstCycleWeeks: 10,
    secondCycleWeeks: null,
  },
  B: {
    key: "B",
    productsInOperation: 2,
    reuseBps: 3_000,
    platformBoundaryWritten: false,
    exitRecoveryHours: 336,
    firstCycleWeeks: 16,
    secondCycleWeeks: 11,
  },
  C: {
    key: "C",
    productsInOperation: 3,
    reuseBps: 5_500,
    platformBoundaryWritten: true,
    exitRecoveryHours: 4,
    firstCycleWeeks: 14,
    secondCycleWeeks: 9,
  },
};

export const MIN_PRODUCTS = 2;
// 以 B 的 30% 作为「能力可复用」的最低观测值,不另造门槛。
export const MIN_REUSE_BPS = 3_000;

export type GateId =
  | "portfolio"
  | "reuse"
  | "platform"
  | "exit"
  | "copy-cycle";

export type ScaleGate = {
  readonly id: GateId;
  readonly label: string;
  readonly pass: boolean;
};

// 第二周期 / 第一周期。小于 100% 才叫复制,等于 100% 只是重做一遍。
export function copyCycleRatioBps(facts: ScaleFacts): Bps | null {
  if (
    facts.firstCycleWeeks === null ||
    facts.firstCycleWeeks <= 0 ||
    facts.secondCycleWeeks === null
  ) {
    return null;
  }
  return divide(facts.secondCycleWeeks, facts.firstCycleWeeks);
}

export function scaleGates(facts: ScaleFacts): readonly ScaleGate[] {
  const ratio = copyCycleRatioBps(facts);
  return [
    {
      id: "portfolio",
      label: "在运营产品 ≥ 2",
      pass: facts.productsInOperation >= MIN_PRODUCTS,
    },
    {
      id: "reuse",
      label: "能力复用率 ≥ 30%",
      pass: facts.reuseBps >= MIN_REUSE_BPS,
    },
    {
      id: "platform",
      label: "平台边界成文",
      pass: facts.platformBoundaryWritten,
    },
    {
      id: "exit",
      label: "退出恢复时长可估",
      pass: facts.exitRecoveryHours !== null,
    },
    {
      id: "copy-cycle",
      label: "第二周期短于第一周期",
      pass: ratio !== null && ratio < 10_000,
    },
  ];
}

export function gatesPassed(facts: ScaleFacts): number {
  return scaleGates(facts).filter((item) => item.pass).length;
}

export function failedGates(facts: ScaleFacts): readonly GateId[] {
  return scaleGates(facts)
    .filter((item) => !item.pass)
    .map((item) => item.id);
}

export function scaleReady(facts: ScaleFacts): boolean {
  return failedGates(facts).length === 0;
}

// 规模化资格有三条:五道判据全过、卷二评审 ≥ 20、0 分项清零。
export const REVIEW_FLOOR = 20;

export type Eligibility = {
  readonly gatesPassed: boolean;
  readonly reviewPassed: boolean;
  readonly zeroItemsCleared: boolean;
  readonly pass: boolean;
};

export function eligibility(
  facts: ScaleFacts,
  reviewScore: number,
  zeroItems: number,
): Eligibility {
  const gatesPassed = scaleReady(facts);
  const reviewPassed = reviewScore >= REVIEW_FLOOR;
  const zeroItemsCleared = zeroItems === 0;
  return {
    gatesPassed,
    reviewPassed,
    zeroItemsCleared,
    pass: gatesPassed && reviewPassed && zeroItemsCleared,
  };
}

export const CASE_MATURITY: Record<CaseKey, Maturity> = {
  A: "L2",
  B: "L2",
  C: "L3",
};

export function nextMaturity(level: Maturity): Maturity {
  const index = MATURITY_ORDER.indexOf(level);
  return MATURITY_ORDER[Math.min(index + 1, MATURITY_ORDER.length - 1)];
}

copyCycleRatioBps 把第二周期除以第一周期:B 是 11 / 16 = 0.69,C 是 9 / 14 = 0.64。比值小于 1 才叫复制;等于 1 只是把同一件事重做一遍,大于 1 说明第二个产品更难。

scaleGates 逐条判断五道判据,不短路。A 的五道全部失败,B 只差平台边界,C 全部通过。这个结果与事实表第十节一致。

failedGates 比总分更有用:B 的差距被定位到「平台边界成文」一件事,而不是笼统的「规模化能力不足」。scaleReady 只在五道全过时返回 true,避免用四个通过掩盖一个结构性缺口。

eligibility 把三条资格条件合在一起:C 在 24 分、五道全过,但 0 分项未清零时仍返回 false;清零后才返回 true。B 即使把评审补到 21 分,五道判据仍缺平台边界,也返回 false。

CASE_MATURITY 把三家定为 L2、L2、L3,nextMaturity 一次只升一级。成熟度不是评分,它是「下一步该补什么」的坐标。

卷三预告

卷三仍然是 15 项评审,对应全书第 31–45 项,单卷满分 30。三家的卷三得分是 A 12、B 10、C 20;全书总分是 A 52、B 44、C 70。离 72 分通过线分别差 20、28、2 分,卷三可补分分别是 18、20、10。

卷三的主线是:把「交多少活」变成组织能力。 它分四组问题:

  1. 组合与复用(31–33):多个 Agent 的边界与依赖、哪些能力共享、平台与业务的职责怎么分。
  2. 流程与岗位(34–36):多 Agent 有没有用户可理解的理由、流程改造到什么程度、谁的工作变了。
  3. 依赖与责任(37–40):买还是自建、供应商依赖怎么演练、出事后责任归谁、审计记录能不能导出核对。
  4. 披露、成本与成熟度(41–45):什么时候必须告知「这是 AI」、系统成本与人工成本怎么分开、价值怎么计量、差异化靠什么、五级成熟度当前在哪一级。

这四组问题在卷二都不会出现,因为卷二假设「一个产品、一个团队、一套控制」。卷三要处理的是「多个产品、多个团队、共享一套平台」时的冲突。三家在卷三的得分都不高,C 的 20 分已经是最高,说明组织问题比交互问题更难补。

离开卷二之前

如果只带走一件事,应该是:上线不是终点,是控制机制开始被观测的起点。 卷二所有章节都在为这一刻做准备:形态让用户遇得到,可见让用户看得懂,可控让用户接得住,可核对让用户信得过,可放量让组织敢加速。

在进入卷三之前,可以先做三件事:

  1. 把本卷 15 项评审重打一次,列出所有 0 分项与责任人。
  2. 把上线基线四组承诺写成一页,逐格确认有没有观测数据。
  3. 用五道规模化判据检查自己:是 0 / 5、4 / 5 还是 5 / 5,差距具体落在哪一道。

这三件事不需要新工具,也不需要新预算;它们只需要团队承认「控制机制是要被检查的」,而不是上线当天剪个彩。

小结

  • 卷二交付五条结论:形态由任务在场方式决定、可见性匹配责任、可控性拆成打断纠偏撤销、信任来自可核对与可观测、上线是基线而放量是风险暴露。
  • 五条结论是一条链:形态决定可见落点,可见决定可控入口,可控决定信任,信任决定放量速度。
  • 一个产品能跑不等于一条产品线能跑;规模化的差距在可复用能力、平台边界与退出路径。
  • 进入卷三的规模化资格是五道判据全过、卷二评审 ≥ 20 / 30、0 分项清零;A 0 / 5、B 4 / 5、C 5 / 5。
  • B 虽然过了 4 道判据,但卷二只有 16 分,必须先补纠偏与试点设计,不能直接复制。
  • C 是三家唯一五道全过且卷二 24 分的案例,但第 29 项回滚未演练,必须先补 0 分项再复制。
  • 成熟度定位是 A L2、B L2、C L3;复制周期比是 B 0.69、C 0.64。
  • 卷三 15 项(31–45)处理组合、复用、平台、流程、岗位、依赖、责任、披露、成本与成熟度,三家得分 12 / 10 / 20。

阅读导航:上一节:13.2 15 项交互与上线评审 · 下一节:目录与学习路径 。

常见错误与边界

  1. 把「能上线」当成「能复制」。 上线证明一个场景可行,复制要求能力、平台边界与退出路径都能被第二产品复用。
  2. 用单点成功推全线。 A 的分诊跑通不代表另外 7 个队列也能照搬;它的复用率是 0%。
  3. 只看五道判据,不看卷二评审。 B 过了 4 道判据但只有 16 分,控制机制没补齐就复制,会把缺口放大到第二条产品线。
  4. 把成熟度当奖牌。 L2 到 L3 不是分数上涨,而是「第二个产品能不能少走一遍」;升不上去要先看平台边界。
  5. 忽略退出路径。 A 的退出恢复时长未知,意味着出事时没人知道多久能回到人工;这不影响上线,但挡住规模化。
  6. 把卷三当成卷二的续集。 卷三换的是问题域:从「一个产品怎么被信任」变成「一组产品怎么被组织管理」。

卷二到这里结束。它交付的不是三套界面,而是一套判断:什么时候可以上线、上线时承诺什么、出事时怎么收回、什么时候才配谈复制。卷三从这套判断继续往上走,处理它管不了的那一层:组织。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图