以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
上一节画完依赖地图,接下来最常见的动作是「换一家更便宜或更强的模型试试」。工程侧看起来只是改一个端点,产品侧却要回答四个问题:提示还成立吗、评测还作数吗、成本真的降了吗、用户会发现什么变化。四个问题里任何一个没答完,切换都不算完成。
这一节把换模型拆成四本账,并用 B Quill 的长文本生成做例子。结论先给:换模型不是改代码,是重建评测集与用户预期。代码改动可能只有一天,评测与预期的重建通常以周计。
四本账,缺一本都不能上线
| 账本 | 要重算什么 | 常见误判 |
|---|---|---|
| 提示 | 系统提示、工具调用格式、输出结构、截断策略 | 「换个模型名就行」 |
| 评测 | 评测集覆盖、通过线、分档标准、事实核对 | 「旧评测集还能用」 |
| 成本 | 单任务 token 结构、单价、缓存命中、重试与返工 | 「单价降了就是降本」 |
| 行为 | 输出长度、语气、拒答边界、错误类型、审改时长 | 「能力更强就不会更差」 |
四本账里,提示最显眼,评测最容易被跳过,成本最容易被算错,行为最容易被低估。团队通常会在切换前跑一遍旧评测集,看到分数差不多就放行;但旧评测集是按旧模型的失败模式建的,新模型可能在新地方出错。
一个可操作的顺序是:先改提示并冻结版本,再用同一批样本跑新旧对照,然后按单任务重算成本,最后用真实用户的小流量验证行为。顺序不能反:先看成本会诱导团队忽略行为差异,先看行为又容易在没有基线的情况下凭感觉判断。
B Quill 的长文本为什么更难
B Quill 月报告量 606 份,单份是 12–20 页的初稿,输入约 45,000 token,输出约 4,200 token。生成耗时 11 分钟,人审改 1.6 小时。它的质量分布是三档:一次采纳 63%、小改 28%、返工 9%;审改时发现的事实错误率是 4.6%。
短任务换模型,差异通常表现为「这句话写得不一样」;长报告换模型,差异会沿三个方向放大:
- 上下文使用方式变了。45,000 token 的输入在新模型里可能被截断、被重排优先级,或者对长距离引用的处理不同。报告前几页的结论和后几页的数据对不上,往往不是事实错误,而是上下文没接住。
- 章节间一致性变了。12–20 页的报告要求同一组数字在全篇口径一致。旧模型可能靠提示词勉强维持,新模型可能每章各自发挥,审改的人要在全文里找矛盾。
- 审改分布变了。一次采纳率从 63% 掉到 60%,看起来只差 3 个百分点,但返工率从 9% 升到 12%,意味着每 100 份报告多出 3 份要按 3.0 小时重做。按 606 份计算,这不是小数。
所以 B 的切换不能用「抽几条看看」验收,必须用覆盖三档的历史报告回放,分别看一次采纳、小改、返工的比例有没有移动。评测集也要按这三档组织,而不是只存一批「好报告」。
成本账要按单算,不要按月看
B 的单份模型调用是 0.198 美元:45,000 input token 按 3 美元每百万、4,200 output token 按 15 美元每百万。基础设施分摊 0.122 美元,系统成本合计 0.32 美元一份,月系统成本 193.92 美元。月维护摊销 2,400 美元,是系统成本的十倍以上。
这组数字说明两件事。第一,模型单价的变化对总成本影响很小:即使模型调用减半,B 的月总成本也只从 31,681.92 美元降到约 31,600 美元量级,节省率几乎不动。第二,换模型真正的成本在评测与返工:如果新模型让返工率上升,多出来的人工小时会立刻超过模型省下的钱。
A Relay 和 C Runner 也是同样的结构。A 的单任务模型调用约 0.011 美元,C 约 0.024 美元;两家的系统成本占原人工分别只有 0.97% 和 0.80%。把注意力全放在单价上,等于盯着成本结构里最小的一块。
切换必须灰度
任何模型切换都要经过三个阶段,缺一个都不算完成:
| 阶段 | 流量 | 看什么 | 退出条件 |
|---|---|---|---|
| 影子 | 真实流量的副本,不对外 | 新旧输出差异、评测分档、成本 | 差异可解释,评测不低于基线 |
| 小流量 | 5%–10% 真实任务 | 审改时长、返工率、事实错误率 | 三档分布没有实质性移动 |
| 放量 | 逐步扩大到全量 | 每周复盘,保留回退开关 | 连续多个周期稳定 |
影子的价值不是「跑通」,而是让差异可见。把同一批历史输入同时喂给新旧模型,按三档审改结果分类,才能知道新模型是「更敢写」还是「更会编」。小流量阶段则要盯住人:审改的人是否要多花时间、是否开始不信任草稿、是否绕过产品直接手写。
放量阶段必须保留回退开关,而且回退要能在小时级完成。B 的退出恢复估算是 2 周,那是换供应商的级别;同一个供应商内换模型版本,回退应该快得多。两者不能混为一谈:换版本是配置回退,换供应商是依赖重建。灰度切换在工程侧落到路由与流量分配,维度与权重怎么切,可对照 路由维度 ;本节只讨论产品要不要换、什么时候算换成功。
把切换条件写成可执行检查
下面的模型把四本账做成四个布尔项,缺一项就不允许切换;成本按 token 结构重算;行为差异用三档分布判断,任何一档移动达到 3 个百分点就阻断放量。
// file: src/scale/07-2-model-switch.ts
// tier: L2
// verify: node --test test/scale/07-2-model-switch.test.ts
// 换模型不是改一行配置:提示、评测、成本、行为四本账要一起重算。
// 本文件只算「切换是否就绪」和「成本差多少」,不判断新模型是否更强。
export type SwitchArea = "prompt" | "eval" | "cost" | "behavior";
export const AREAS: readonly SwitchArea[] = [
"prompt",
"eval",
"cost",
"behavior",
];
export const AREA_LABEL: Record<SwitchArea, string> = {
prompt: "提示与工具调用格式",
eval: "评测集与通过线",
cost: "单位成本与总量",
behavior: "行为差异与用户预期",
};
export type SwitchReadiness = Record<SwitchArea, boolean>;
export type SwitchVerdict = {
readonly ready: boolean;
readonly missing: readonly SwitchArea[];
// 行为差异不可能为零,所以任何模型切换都必须灰度。
readonly canaryRequired: boolean;
};
export function checkSwitch(readiness: SwitchReadiness): SwitchVerdict {
const missing = AREAS.filter((area) => !readiness[area]);
return {
ready: missing.length === 0,
missing,
canaryRequired: true,
};
}
// 单位成本:输入与输出分别按每百万 token 计价,结果以美分计,保留一位小数。
export function modelCostCents(
inputTokens: number,
outputTokens: number,
inputPerMillion: number,
outputPerMillion: number,
): number {
const raw =
(inputTokens * inputPerMillion + outputTokens * outputPerMillion) / 10_000;
return Math.round(raw * 10) / 10;
}
export type TokenUsage = {
readonly inputTokens: number;
readonly outputTokens: number;
};
// 三案例的单次 token 用量与公开价目口径(3 美元 / 15 美元每百万)。
export const TOKEN_USAGE: Record<"A" | "B" | "C", TokenUsage> = {
A: { inputTokens: 2_800, outputTokens: 180 },
B: { inputTokens: 45_000, outputTokens: 4_200 },
C: { inputTokens: 6_000, outputTokens: 400 },
};
export const INPUT_PRICE_PER_MILLION = 3;
export const OUTPUT_PRICE_PER_MILLION = 15;
export function caseModelCostCents(key: "A" | "B" | "C"): number {
const usage = TOKEN_USAGE[key];
return modelCostCents(
usage.inputTokens,
usage.outputTokens,
INPUT_PRICE_PER_MILLION,
OUTPUT_PRICE_PER_MILLION,
);
}
export function costDeltaCents(oldCents: number, newCents: number): number {
return Math.round((newCents - oldCents) * 10) / 10;
}
// 长文本任务的第一个硬约束不是价格,是上下文窗口。
export type ContextFit = {
readonly fits: boolean;
readonly usageRatio: number;
readonly headroomTokens: number;
};
export function contextFit(
inputTokens: number,
windowTokens: number,
): ContextFit {
if (windowTokens <= 0) {
return { fits: false, usageRatio: Number.POSITIVE_INFINITY, headroomTokens: 0 };
}
return {
fits: inputTokens <= windowTokens,
usageRatio: inputTokens / windowTokens,
headroomTokens: Math.max(0, windowTokens - inputTokens),
};
}
export type QualityBuckets = {
/** 一次采纳率,百分比 */
readonly firstPass: number;
/** 小改率,百分比 */
readonly minor: number;
/** 返工率,百分比 */
readonly rework: number;
};
// B Quill 的三档审改分布:63 / 28 / 9,合计 100。
export const QUILL_QUALITY: QualityBuckets = {
firstPass: 63,
minor: 28,
rework: 9,
};
export type Drift = {
readonly firstPassDelta: number;
readonly reworkDelta: number;
/** 任一档变动达到 3 个百分点,就视为需要重新谈判验收线。 */
readonly material: boolean;
};
export function drift(
previous: QualityBuckets,
next: QualityBuckets,
): Drift {
const firstPassDelta = next.firstPass - previous.firstPass;
const reworkDelta = next.rework - previous.rework;
return {
firstPassDelta,
reworkDelta,
material:
Math.abs(firstPassDelta) >= 3 || Math.abs(reworkDelta) >= 3,
};
}
// 切换顺序:先在影子流量上跑评测,再放小比例真实流量。
export type SwitchPhase = "shadow" | "canary" | "ramp";
export const PHASE_ORDER: readonly SwitchPhase[] = [
"shadow",
"canary",
"ramp",
];
export function nextPhase(current: SwitchPhase): SwitchPhase | null {
const index = PHASE_ORDER.indexOf(current);
if (index === -1 || index === PHASE_ORDER.length - 1) return null;
return PHASE_ORDER[index + 1];
}
export function canRamp(d: Drift, evalPassed: boolean): boolean {
return evalPassed && !d.material;
}
checkSwitch 不判断新模型是否更强,只判断四本账有没有都更新。canaryRequired 恒为 true,因为行为差异不可能为零;把「是否需要灰度」做成可配置项,最后一定会被关掉。
modelCostCents 按输入与输出分别计价,算出来 A 约 1.1 美分、B 19.8 美分、C 2.4 美分,与事实表一致。contextFit 把长文本的硬约束显式化:45,000 token 的输入放进 32,000 token 的窗口就是放不下,必须分段或换窗口,而不是靠提示词「压缩一下」。
drift 只比较一次采纳与返工两档,因为这两档直接对应人的时间。小改率的变化会同时反映在这两档里,不必单独判断。nextPhase 固定影子、小流量、放量的顺序,canRamp 要求评测通过且行为没有实质性移动。
小结
- 换模型要同时重算四本账:提示、评测、成本、行为;缺一本都不能上线。
- 旧评测集是按旧模型的失败模式建的,换模型后必须补充新失败模式的样本。
- B Quill 的长报告会放大上下文、章节一致性与审改分布三类差异,不能靠抽样验收。
- 模型单价对总成本影响很小;返工率上升带来的人工小时才是大头。
- 切换必须经过影子、小流量、放量三个阶段,并保留小时级回退开关。
- 换版本是配置回退,换供应商是依赖重建;两者的恢复时间不在一个量级。
- 灰度不是流程装饰,它是把「行为差异」从不可见变成可比较的唯一手段。
阅读导航:上一节:7.1 依赖地图 · 下一节:7.3 锁定成本与退出演练 。
常见错误与边界
- 把换模型当成换端点。 提示、工具调用格式、截断策略都可能要改;只换端点会把问题推到用户侧。
- 直接复用旧评测集。 旧评测集覆盖的是旧模型的错误类型,新模型的新错误不会被它抓到。
- 只看单价不看返工。 B 的模型调用只占系统成本的一部分;返工率上升会让人工成本迅速吃掉单价优势。
- 跳过影子直接小流量。 没有新旧对照,小流量阶段的异常无法判断是模型问题还是样本波动。
- 把「更强」当成「更适合」。 更强的模型可能更敢写、更长、更难审;B 要的是可审改的草稿,不是更漂亮的文章。
- 没有回退开关。 放量后发现问题却只能再切一次,等于把一次切换变成两次事故。
换模型是可控的,因为供应还在。真正难的是供应明天不在了:没有备选、没有演练、没有恢复时间。下一节把锁定成本拆开,并给出一套每年至少做一次的退出演练。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。