以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
上一节的路由是“事前选择”:根据请求特征选一个模型。级联(cascade)是“事后升级”:先让小模型答,判断不可靠再叫大模型。集成(ensemble)是“并行多答”:让多个模型或多个采样同时回答,再投票或仲裁。
三者都在用额外计算换质量,但成本结构不同。路由只调用一次;级联平均调用一点几次;集成通常调用多次。理解这个结构,才能判断什么时候值得。
级联的成本结构
级联的期望成本是每一级“被到达的概率 × 该级成本”之和:
$$
E[C] = c_1 + (1-a_1)c_2 + (1-a_1)(1-a_2)c_3 + \cdots
$$
其中 $a_i$ 是第 $i$ 级的接受率。第一级总会执行,第二级只在第一级被拒绝时执行,依此类推。接受率越高,后面越少被调用,平均成本越低。
这个公式也说明级联的收益来自“大部分请求在第一级就被接受”。如果接受率只有 30%,级联几乎退化成“小模型试一次 + 大模型重做”,成本接近直接调用大模型,还多了一次延迟。
期望质量怎么算
期望质量不是简单加权平均,而是“被接受的结果按接受概率加权,最后一级兜底”:
$$
E[Q] = a_1 q_1 + (1-a_1)a_2 q_2 + \cdots + (1-a_1)\cdots(1-a_{n-1})q_n
$$
这里假设被接受的结果就是最终结果,被拒绝的结果不进入答案。最后一级通常没有拒绝选项,所以它的质量按到达概率全额计入。
这个模型忽略了“接受但答错”的情况。真实系统里,接受率是“验证器认为可靠”的比例,不等于“实际正确”的比例。验证器本身会犯错,这会同时影响成本和质量的估计。
最小实验:级联 vs 单模型
下面的实验比较三种方案:只用 small、只用 large、以及 small→large 的两级级联。small 成本 0.10、质量 0.70、接受率 0.60;large 成本 1.00、质量 0.92。
# file: agp_lab/cascade.py | write
# tier: 3
# verify: python3 -m unittest tests.test_cascade
"""级联与集成:期望成本、期望质量与盈亏平衡。"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class Stage:
name: str
cost: float
quality: float
accept: float
SMALL = Stage("small", 0.10, 0.70, 0.60)
LARGE = Stage("large", 1.00, 0.92, 1.00)
def cascade_expected_cost(stages: tuple[Stage, ...]) -> float:
"""每一级只在前面都被拒绝时才执行。"""
cost = 0.0
reach = 1.0
for stage in stages:
cost += reach * stage.cost
reach *= 1 - stage.accept
return cost
def cascade_quality(stages: tuple[Stage, ...]) -> float:
"""被接受的结果按接受概率加权;最后一级兜底。"""
quality = 0.0
reach = 1.0
for stage in stages:
quality += reach * stage.accept * stage.quality
reach *= 1 - stage.accept
if stages:
quality += reach * stages[-1].quality
return quality
def single_quality(stage: Stage) -> float:
return stage.quality * stage.accept + (1 - stage.accept) * 0.0
if __name__ == "__main__":
stages = (SMALL, LARGE)
print("cascade_cost:", round(cascade_expected_cost(stages), 3))
print("cascade_quality:", round(cascade_quality(stages), 4))
print("small_alone_quality:", round(single_quality(SMALL), 4))
print("large_alone_cost:", LARGE.cost, "quality:", LARGE.quality)
运行:
cd private/labs/agp-lab
python3 -m agp_lab.cascade
输出:
cascade_cost: 0.5
cascade_quality: 0.788
small_alone_quality: 0.42
large_alone_cost: 1.0 quality: 0.92
级联的期望成本是 0.5:第一级 0.10 总会付,第二级只在 40% 的请求上执行,付 0.40,合计 0.50。相对于只用 large 的 1.00,成本减半。
级联的期望质量是 0.788:60% 的请求由 small 回答,质量 0.70,贡献 0.42;剩下 40% 升级到 large,质量 0.92,贡献 0.368。合计 0.788,介于 small 的 0.42 和 large 的 0.92 之间。
small_alone_quality: 0.42 的计算把“拒绝”算作 0 质量,因为单独使用时没有兜底。这个数字故意显得低,是为了说明:级联的价值不只是省钱,还包括“小模型答不了的请求有出口”。
接受率与验证器
级联的关键变量是接受率,而接受率由验证器决定。常见的验证器:
| 验证器 | 信号 | 风险 |
|---|---|---|
| 置信度阈值 | 模型自报或词概率 | 可能过度自信 |
| 格式校验 | JSON/schema 是否合法 | 格式对不代表内容对 |
| 规则检查 | 长度、关键词、引用 | 覆盖有限 |
| 外部验证 | 测试、计算器、检索核对 | 成本高但可靠 |
| 交叉一致性 | 多次采样是否一致 | 相关错误会一起错 |
验证器越可靠,级联越安全;验证器越宽松,接受率高但错误漏出多。级联的调参本质是“在错误漏出率和成本之间找平衡”,而不是单纯追求高接受率。
集成:并行多答
集成不升级,而是并行拿多个答案:
| 方式 | 做法 | 适用 |
|---|---|---|
| 同模型多采样 | 多次采样后投票 | 答案可归一化 |
| 多模型投票 | 不同模型各答一次 | 错误不相关 |
| 生成 + 验证 | 一个生成,一个打分 | 有明确评分标准 |
| 辩论 | 多个角色互相批评 | 开放性问题 |
投票有效的前提是“错误不相关”。如果所有模型都在同一个知识点上错,投票只会稳定地选出错误答案。多模型投票的价值来自不同的训练数据、不同的归纳偏置;同模型多采样的价值来自采样多样性,但对系统性错误无效。
级联、集成与路由的取舍
| 方案 | 调用次数 | 成本 | 质量 | 延迟 |
|---|---|---|---|---|
| 路由 | 1 | 中 | 取决于路由准确率 | 低 |
| 级联 | 1 + 拒绝率 | 低到中 | 中到高 | 中 |
| 集成 | k | 高 | 高(错误不相关时) | 高 |
路由适合请求难度差异大、可以事前判断的场景;级联适合“大部分简单、少数困难”的长尾分布;集成适合质量优先、延迟不敏感的场景。三者可以组合:先路由到候选集,再级联,再对关键结果做集成验证。
什么时候不该级联
级联不是默认更优:
- 小模型接受率太低,级联退化为“两次调用”;
- 验证器太弱,错误在第二级之前就漏出;
- 延迟敏感,多一次调用就超预算;
- 小模型和大模型错误高度相关,升级没有信息增益。
这些情况下,直接路由或直接使用大模型更简单。级联的复杂度应该由可量化的收益支撑,而不是“多一层更稳”的直觉。
架构含义
级联与集成对架构有四个直接约束:
- 接受率要可测。 没有接受率和验证器准确率,无法估算成本与质量。
- 验证器要独立。 用同一个模型自评,错误会相关;外部验证更可靠。
- 成本要按期望算。 不是“最坏情况调用两次”,而是按到达概率加权。
- 延迟要进预算。 级联的第二级、集成的并行调用都会增加尾延迟。
第 2 条决定级联是否真的提升质量。如果验证器就是小模型自己,它可能同样过度自信,把错误答案标记为“可接受”,级联就变成了“用小模型冒充大模型”。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 接受率可测 | 有离线/在线统计 | 凭感觉设阈值 |
| 验证器独立 | 规则/外部/交叉验证 | 模型自评 |
| 成本按期望 | 到达概率加权 | 按最坏情况估 |
| 质量有对照 | 与单模型同口径比较 | 只报级联结果 |
| 延迟有预算 | 尾延迟纳入 SLO | 只看平均 |
这些判据里,“质量有对照”经常被省略。团队报告“级联达到 0.79 质量”,却没有说“large 单独是 0.92、small 单独是 0.42”,读者无法判断这 0.79 是收益还是损失。
一个代码修复的例子
代码修复任务可以这样级联:
- small 生成补丁;
- 跑测试:通过则接受,失败则升级;
- large 生成补丁;
- 再跑测试:通过则接受,失败则转人工。
这里的验证器是测试,独立且可靠。接受率取决于 small 的能力,成本取决于失败率。如果 small 能修 60% 的简单 bug,级联的平均成本接近 0.5 倍 large,质量接近 large。
反过来,如果任务是“写一段营销文案”,没有自动验证器,级联只能靠模型自评或人工抽检,接受率不可信,收益也就不可信。
集成的错误相关性
集成最容易被高估的地方是错误相关性。三个模型都说“这个 API 的参数是 X”,不代表 X 正确;它们可能都从同一份过时文档里学到 X。
降低相关性的方法:
- 用不同厂商、不同训练数据的模型;
- 给不同模型不同的检索来源;
- 让模型先独立作答,再互相批评,而不是共享上下文;
- 对关键结论要求外部证据,而不是投票。
投票适合“答案空间小、可以归一化”的任务;对开放式生成,投票的意义有限,验证器更重要。
小结
- 级联先小后大,期望成本按到达概率加权;接受率越高越省。
- 期望质量按接受概率加权,最后一级兜底;验证器质量决定实际效果。
- 集成并行多答,投票有效的前提是错误不相关。
- 路由、级联、集成可以组合,但各有调用次数、成本和延迟结构。
- 接受率低、验证器弱、延迟敏感或错误相关时,级联不划算。
- 报告级联效果必须给出单模型对照,否则无法判断收益。
阅读导航:上一节:12.1 路由:按任务选择模型 · 下一节:12.3 模型 A/B 测试:如何比较两个版本 。
常见错误与边界
- 假设级联一定更省。 接受率低时,级联接近调用两次,成本反而高。
- 用模型自评当验证器。 错误相关,过度自信会把错误答案放行。
- 按最坏情况估成本。 应该按到达概率加权,否则会低估级联收益。
- 忽略延迟。 第二级和并行调用都会增加尾延迟,可能超出 SLO。
- 假设多模型投票一定对。 错误相关时,投票会稳定地选出同一个错误。
- 只报级联质量。 没有单模型对照,无法判断提升来自级联还是任务本身。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。