《AI Agent 产品开发·组织、平台与规模化》7.3 锁定成本与退出演练

锁定成本不是违约金,而是「明天不能用」时重建一切的时间与人手。本节给出锁定成本的五项构成、退出演练的四个步骤,并用 A Relay、B Quill、C Runner 各估一次切换成本:A 的恢复时间未知,B 约 2 周,C 约 4 小时。结论是每年至少演一次,且未知必须被当成最高风险。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

锁定成本常被理解成合同里的违约金:只要提前解约赔得起,就算没有被锁定。但 Agent 产品的锁定不在合同里,而在「明天不能用」的那一刻:提示要重写、评测要重跑、数据要迁移、用户要重新建立预期。违约金是一次性支出,这些重建是持续数周的工作。

这一节先给锁定成本的构成,再给一套四步退出演练,最后用三个案例各估一次切换成本。核心判断只有一句:每年至少演一次「如果明天不能用」。没有演练过的退出方案,不能算方案。

锁定成本由五部分组成

组成具体内容能否提前估算
直接工程适配层、提示迁移、接口改造能,按人时估
评测重建重新标注、重跑对照、重设通过线能,但常被漏掉
数据迁移历史样本、审计日志、快照与规则版本能,工作量最大
用户预期输出风格变化、审改习惯、信任重建难,只能靠灰度观察
停摆机会成本切换期间业务减速或转人工能,按任务量估

前四项里,团队通常只估第一项。直接工程有明确的人天,最容易写进项目计划;评测重建和数据迁移没有现成工时,常常被写成「并行完成」;用户预期则完全不在工程计划里。结果就是切换项目按工程排期看起来两周,实际拖到两个月。

锁定成本的高低,不取决于供应商有多难换,而取决于这五项里有多少项没有提前准备。准备好了评测集和数据副本,换供应商就是一次迁移;没准备,换版本都像重建。

退出演练的四个步骤

退出演练不是真的换供应商,而是在不影响真实用户的前提下,把「换」这件事走一遍。四步缺一不可:

  1. 列依赖。用上一节的四行模板,把模型、工具、数据、平台各写一行。没有这一行,演练就不知道要演什么。
  2. 选一条最关键、且最可能明天消失的依赖。通常选主模型供应商,因为它最集中、最不可控。
  3. 在影子流量上切到备选方案。真实用户仍然走原方案,副本走备选;比较输出差异、评测分档、成本与失败点。
  4. 记录恢复时长、负责人与失败点。没有记录的演练等于没做;下一次评审仍然只能回答「应该可以」。

四个步骤里,第三步最容易缩水成「跑通一个 demo」。跑通只证明接口可用,不证明质量可接受;必须用同一批历史输入做新旧对照,才能知道切换后哪些任务会退化。

第四步的产物是一张退出卡:依赖名称、备选方案、恢复时长、负责人、上次演练日期、已知失败点。这张卡应该和值班表放在一起,而不是躺在项目文档里。

三案例各估一次切换成本

用工程人时做一个下界估算:退出成本 = 工程人数 × 恢复小时 × 30 美元/小时。这个估算只含直接工程,不含评测重建、数据迁移与停摆损失,所以它是下界,不是全价。

案例工程投入恢复时长(估)退出成本下界说明
A Relay2 人未知无法估算从未演练,恢复时间没有估计
B Quill1 人 + 外包2 周(80 小时)2,400 美元只算 1 名内部工程,外包未计
C Runner4 人4 小时480 美元主备切换演练过 1 次

B Quill 的 2,400 美元看起来很低,但它只覆盖内部工程的一周多工作量。B 还有外包、2,400 美元的月维护摊销、606 份报告的评测与事实核对;真实切换成本会远高于这个下界。这个数字的用途不是预算,而是比较量级:B 的恢复以周计,C 以小时计。

C Runner 的 480 美元同样是下界,但它有 2 家模型供应商、演练过 1 次、退出恢复估算 4 小时。C 的锁定成本低,不是因为工程更便宜,而是因为它提前把切换做成了平台能力:调度、审计、回滚都在自己的平台里,换模型不需要重建整条链路。

A Relay 的情况最值得警惕。它有 1 家模型供应商、2 名工程、1 个在运营产品,退出恢复时间未知。未知不是 0,也不是「应该很快」;它意味着出事当天才能开始估。按 2 人 × 未知小时计算,成本是无穷大——不是数学游戏,而是说这条依赖没有上限。

为什么 A 的未知最危险

A 的分诊建议嵌在工单页里,人工基线 3.5 分钟一单,月工单量 26,400 单。模型一旦不可用,支持团队要么回到全人工分诊,要么停掉建议功能。两种退法都不需要「切换供应商」,但都需要有人提前决定:退回全人工的容量够不够、停掉功能的影响有多大、多久能恢复。

这些问题的答案不在合同里,在演练里。A 的团队没有做过退出演练,也没有成文的能力目录;它的维护摊销是 1,200 美元一个月,系统成本是 448.8 美元一个月。维护投入不算低,但没有一分钱花在「退出」上。

对比 C:维护摊销 3,600 美元一个月,系统成本 950.4 美元一个月,其中包含规则、评测与回滚演练。C 的维护更贵,但它买到了 4 小时的恢复时间。锁定成本不是维护成本的对立面,而是维护投入的一个去向:把钱花在演练上,锁定成本就下降;只花在提示词上,锁定成本仍然是未知。

演练频率与重估触发

退出演练不是做一次就永久有效。依赖会变:模型版本升级、工具接口改版、数据口径调整、平台负责人离职,任何一项都可能让上一张退出卡过期。

三类事件发生后应当立即重估,而不是等到年度演练:

触发事件为什么要重估重估重点
主模型大版本升级提示、评测与行为都会变影子对照是否仍成立
关键工具换接口鉴权、字段映射与回滚句柄可能失效工具依赖那一行
数据口径调整评测集与事实核对清单要重建数据依赖的可替换性
平台负责人离职恢复时间取决于谁会在半夜处理负责人是否仍然有效

年度演练是底线,不是上限。C 演练过 1 次,恢复时间 4 小时;如果那次演练是两年前做的,4 小时也只是历史值,不是当前值。drillDue 用 12 个月的阈值提醒重做,原因就在这里:退出卡记录的是某一次的事实,不是永久承诺。

重估不需要每次都走完整四步。主模型小版本升级可以只做影子对照;换供应商或换平台则必须四步全走。判断标准是「依赖的提供方有没有变」:同一提供方内的版本变化,恢复时间通常不变;提供方变了,恢复时间要重新估。

还有一类触发不在技术侧:业务量级变化。A 的月工单量是 26,400 单,如果翻倍,退回全人工的容量假设就不成立,退出方案要重算。锁定成本不是纯技术指标,它和业务规模绑在一起;规模变了,恢复时间也会变。

因此退出卡上除了恢复时间,还要写清它对应的业务规模。C 的 4 小时是在当前 13,200 个任务量级下估的;如果任务量翻倍,同样的切换流程可能要更久。脱离规模的恢复时间,只是一个无法验证的口号。

把演练写成可执行清单

下面的模型把四个步骤做成状态检查,把退出事实做成可估算的输入。estimateExit 遇到未知恢复时间会返回错误,而不是 0;singleVendorExposure 把单供应商且未知的情况表示为无穷大;drillDue 保证每年至少重演一次。

// file: src/scale/07-3-lockin-cost.ts
// tier: L2
// verify: node --test test/scale/07-3-lockin-cost.test.ts

// 锁定成本不是违约金,是「明天不能用」时重建一切的时间与人手。
// 退出演练把未知变成可估:没有估过的退出时间,不能被当成安全。

import { HOUR_CENTS } from "../cases.ts";
import { fail, ok, type Result } from "../core/result.ts";

export type DrillStep = "map" | "pick" | "shadow" | "record";

export const DRILL_STEPS: readonly DrillStep[] = [
  "map",
  "pick",
  "shadow",
  "record",
];

export const STEP_LABEL: Record<DrillStep, string> = {
  map: "列出模型、工具、数据、平台四类依赖",
  pick: "选一条最关键、且最可能明天消失的依赖",
  shadow: "在影子流量上切到备选方案,不动真实用户",
  record: "记录恢复时长、负责人与失败点",
};

export type DrillState = Record<DrillStep, boolean>;

export type DrillVerdict = {
  readonly ready: boolean;
  readonly completed: number;
  readonly missing: readonly DrillStep[];
};

export function drillReadiness(state: DrillState): DrillVerdict {
  const missing = DRILL_STEPS.filter((step) => !state[step]);
  return {
    ready: missing.length === 0,
    completed: DRILL_STEPS.length - missing.length,
    missing,
  };
}

export type ExitFact = {
  readonly key: "A" | "B" | "C";
  readonly engineeringPeople: number;
  /** null 表示没有估过 */
  readonly recoveryHours: number | null;
  readonly vendors: number;
  readonly drilled: boolean;
};

// A 的退出时间未知;B 估算两周;C 主备切换演练过一次,估算四小时。
export const EXIT_FACTS: Record<"A" | "B" | "C", ExitFact> = {
  A: {
    key: "A",
    engineeringPeople: 2,
    recoveryHours: null,
    vendors: 1,
    drilled: false,
  },
  B: {
    key: "B",
    engineeringPeople: 1,
    recoveryHours: 80,
    vendors: 1,
    drilled: false,
  },
  C: {
    key: "C",
    engineeringPeople: 4,
    recoveryHours: 4,
    vendors: 2,
    drilled: true,
  },
};

export type LockInCost = {
  readonly exitFloorCents: number;
  readonly recoveryHours: number;
  readonly engineeringPeople: number;
  readonly perVendorCents: number;
};

// 只算工程人时的下界。外包、评测重建、用户预期重置都不在里面。
export function estimateExit(fact: ExitFact): Result<LockInCost> {
  if (fact.recoveryHours === null) {
    return fail("recovery time unknown: run the exit drill first");
  }
  const exitFloorCents =
    fact.engineeringPeople * fact.recoveryHours * HOUR_CENTS;
  return ok({
    exitFloorCents,
    recoveryHours: fact.recoveryHours,
    engineeringPeople: fact.engineeringPeople,
    perVendorCents: Math.round(exitFloorCents / fact.vendors),
  });
}

// 单供应商的年化暴露:没有备份时,一次不可用就等于整条业务线停摆。
export function singleVendorExposure(fact: ExitFact): number {
  return fact.vendors <= 1 ? fact.recoveryHours ?? Number.POSITIVE_INFINITY : 0;
}

// 演练频率:距离上次演练超过 12 个月,就应当重做一次。
export function drillDue(lastDrillMonth: number, currentMonth: number): boolean {
  if (currentMonth < lastDrillMonth) return true;
  return currentMonth - lastDrillMonth >= 12;
}

// 三案例的切换成本估算,A 返回错误而不是 0。
export function estimateCase(key: "A" | "B" | "C"): Result<LockInCost> {
  return estimateExit(EXIT_FACTS[key]);
}

// 恢复时长换算成可读的天数,用于评审会上对齐预期。
export function recoveryDays(hours: number): number {
  return Math.round((hours / 8) * 100) / 100;
}

drillReadiness 要求四步全部完成才算就绪,completed 只用于展示进度,不能替代「就绪」判断。estimateExit 的成本是工程人时下界:B 为 1 人 × 80 小时 × 30 美元 = 2,400 美元,C 为 4 人 × 4 小时 × 30 美元 = 480 美元;A 因为 recoveryHours 是 null,直接返回错误。

singleVendorExposure 是给评审会看的:单供应商且恢复时间未知时返回 Infinity,单供应商但已估算时返回小时数,有主备时返回 0。drillDue 用月份差判断,超过 12 个月就应当重做。recoveryDays 只是把小时换算成天,方便和业务排期对齐,不参与成本计算。

小结

  • 锁定成本不是违约金,而是「明天不能用」时重建提示、评测、数据与预期的工作量。
  • 锁定成本由五部分组成:直接工程、评测重建、数据迁移、用户预期、停摆机会成本。
  • 退出演练有四步:列依赖、选一条、影子切换、记录恢复时长与负责人。
  • A 的退出恢复未知,B 约 2 周,C 约 4 小时;差别来自演练与平台化,不是供应商数量。
  • 用工程人时估算得到的是下界;评测、数据与停摆损失通常更大。
  • 未知必须被当成最高风险,不能当成 0 或「应该很快」。
  • 每年至少演一次;超过 12 个月没有演练,退出卡就过期了。

阅读导航:上一节:7.2 换模型对产品意味着什么 · 下一节:8.1 Agent 产品的成本解剖 。

常见错误与边界

  1. 把锁定成本等同于违约金。 违约金是一次性支出,重建评测、数据与用户预期是持续数周的工作。
  2. 只估直接工程。 评测重建、数据迁移和停摆损失通常比适配层改造更大,漏掉它们会低估一个量级。
  3. 把「有备选供应商」当成演练过。 备选没有接过影子流量、没有跑过评测,就只是合同上的一个名字。
  4. 把未知当成安全。 A 的恢复时间未知,不代表它很快;未知只能通过演练变成估计。
  5. 演练只跑 demo。 跑通接口不证明质量可接受,必须用历史输入做新旧对照。
  6. 演练记录只写「已完成」。 没有恢复时长、负责人和失败点的记录,下一次仍然要从零开始。

依赖与退出都讲清楚之后,成本问题才看得清:系统账单只是成本的一小部分,真正的大头是人还要做多少、组织要改多少。下一章从成本解剖开始。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图