以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
Agent 系统里常见的浪费是“所有请求都用最大模型”。简单分类、格式转换、短问答用大模型,成本高、延迟大,效果却未必更好;反过来,所有请求都用小模型,复杂规划和多步推理又会系统性失败。路由(routing)就是把请求分配到合适模型的过程。
路由不是“按 token 数猜”,也不是“让模型自己选”。它需要先判断任务需要多少能力、允许多大风险,再在候选模型里选一个满足约束且成本合理的。判断错了,要么浪费钱,要么答错。
路由的两个阶段
一个可解释的路由通常分两步:
- 可行性过滤:模型能力是否达到任务要求,风险是否在允许范围内。
- 打分选择:在可行候选里,按能力、成本、延迟和风险综合打分。
先过滤再打分很重要。如果直接按“能力 − 成本”打分,一个能力不足但很便宜的模型可能胜出;过滤把“能不能做”和“划不划算”分开,避免用成本换掉正确性。
能力与风险怎么估
能力不是一个标量,但工程上需要一个可比较的估计:
| 来源 | 做法 | 局限 |
|---|---|---|
| 历史评测 | 按任务类型统计各模型准确率 | 分布变化会失效 |
| 路由分类器 | 用小模型预测难度 | 分类器本身会错 |
| 规则 | 按意图、工具数、上下文长度 | 粗糙但可解释 |
| 在线反馈 | 用重试/升级信号修正 | 滞后 |
风险同样需要估计:金融、医疗、删除类动作的风险上限低;查询、摘要的上限高。能力阈值和风险上限应该按任务配置,而不是全局一个值。
最小实验:过滤与打分
下面的实验有三个候选模型:small、medium、large,各自有能力、成本和风险分数。路由先过滤掉能力不足或风险超限的候选,再按“能力 − 成本权重×成本 − 风险权重×风险”打分。
# file: agp_lab/router.py | write
# tier: 3
# verify: python3 -m unittest tests.test_router
"""能力路由:可行性过滤后,按能力、成本与风险打分。"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class Route:
name: str
capability: float
cost: float
risk: float
ROUTES = (
Route("small", 0.60, 0.10, 0.20),
Route("medium", 0.80, 0.40, 0.40),
Route("large", 0.95, 1.00, 0.70),
)
def feasible(route: Route, need: float, risk_limit: float) -> bool:
return route.capability >= need and route.risk <= risk_limit
def score(route: Route, cost_weight: float = 0.3,
risk_weight: float = 0.2) -> float:
return route.capability - cost_weight * route.cost - risk_weight * route.risk
def choose(need: float, risk_limit: float = 1.0,
routes: tuple[Route, ...] = ROUTES,
cost_weight: float = 0.3,
risk_weight: float = 0.2) -> str | None:
candidates = [route for route in routes if feasible(route, need, risk_limit)]
if not candidates:
return None
return max(candidates, key=lambda route: score(route, cost_weight, risk_weight)).name
if __name__ == "__main__":
for need, risk_limit in ((0.5, 0.5), (0.7, 0.5), (0.9, 1.0), (0.99, 1.0)):
print(f"need={need:.2f} risk<={risk_limit:.2f} -> {choose(need, risk_limit)}")
print("cost_first:", choose(0.5, 0.5, cost_weight=3.0))
print("unroutable:", choose(0.99, 0.1))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.router
输出:
need=0.50 risk<=0.50 -> medium
need=0.70 risk<=0.50 -> medium
need=0.90 risk<=1.00 -> large
need=0.99 risk<=1.00 -> None
cost_first: small
unroutable: None
第一行 need=0.50, risk<=0.50:small 能力 0.60 够,风险 0.20 也够;medium 能力 0.80、风险 0.40 也够;large 风险 0.70 超过 0.50,被过滤。剩下 small 和 medium 打分,medium 更高,所以选 medium。
第二行 need=0.70:small 能力不足被过滤,只剩 medium。第三行 need=0.90:只有 large 能力够,选 large。第四行 need=0.99:没有模型达到 0.99,返回 None,表示“路由不了”,而不是硬选一个。
cost_first: small 是把成本权重提高到 3.0 后的结果:small 的得分最高。unroutable: None 是风险上限 0.1 时,large 的风险 0.7 超限,其他模型能力不足,同样返回 None。
None 是一个重要设计。路由失败时应该显式返回“无可用模型”,由上层决定升级、降级、拒答还是转人工,而不是悄悄选一个不满足约束的模型。
路由信号从哪里来
| 信号 | 优点 | 风险 |
|---|---|---|
| 意图分类 | 快、便宜 | 分类错误直接路由错 |
| 输入长度 | 简单 | 长不等于难 |
| 工具数量 | 反映多步需求 | 单工具也可能很难 |
| 检索置信度 | 反映证据充分度 | 检索错会误导 |
| 小模型试答 | 直接观察能力 | 增加一次调用 |
“小模型试答”是一种实用策略:先让小模型回答,用置信度、格式合法性或验证器判断是否可靠,不可靠再升级。这已经接近级联(cascade),下一节会展开。
单一信号都容易误判。意图分类会把“看起来简单但需要多步”的请求分到小模型;输入长度会把“短但需要专业知识”的请求分到小模型。组合多个信号,或者用校准后的置信度,比单看一个特征稳。
路由误判的兜底
路由一定有误判,关键是误判后能恢复:
- 升级:小模型输出低置信、格式错误或验证失败时,转大模型;
- 降级:大模型超时或不可用时,用小模型给一个保守答案;
- 澄清:路由不确定时,先问用户,而不是猜;
- 拒答:没有模型满足约束时,明确说不支持。
升级需要成本预算,否则一次请求可能调用多个模型,成本超过直接用大模型。降级需要质量底线,不能让小模型在高压任务上“凑合答”。澄清和拒答则是产品层面的出口。
兜底策略还要考虑用户体验。升级会带来额外延迟,用户可能感知为“卡了一下”;降级可能给出更短的答案;拒答需要清晰的解释和替代路径。这些都应该在路由设计时一起考虑,而不是等上线后由用户发现。
路由与评测
路由本身也要评测,而不只是评测每个模型:
| 指标 | 含义 |
|---|---|
| 路由准确率 | 是否选到了合适的模型 |
| 升级率 | 多少请求需要升级 |
| 成本节省 | 相比全用大模型省了多少 |
| 质量损失 | 相比全用大模型差了多少 |
| 不可路由率 | 多少请求没有候选 |
只看成本节省会高估路由价值;只看质量损失会低估路由收益。两者要放在一起,形成“每节省 1% 成本损失多少质量”的曲线,再决定路由策略。
路由的分层实现
工程上,路由通常不是一个大分类器,而是几层简单规则的组合:
| 层 | 判断 | 例子 |
|---|---|---|
| 硬规则 | 业务字段/权限 | 金额超过阈值 → 大模型 + 审批 |
| 意图 | 任务类型 | 查询、办理、投诉 |
| 难度 | 上下文长度/工具数 | 多工具 → 大模型 |
| 试答 | 小模型置信度 | 低置信 → 升级 |
分层的好处是每一层都可解释、可单独调整。硬规则出问题时改配置,意图分类出问题时改标签,试答出问题时改阈值;如果所有逻辑揉进一个模型,排查会困难得多。
分层也便于降级。某一层不可用时,可以跳过它,用更保守的默认值继续,而不是整个路由失败。
架构含义
路由对架构有四个直接约束:
- 能力估计要分任务。 一个模型在分类上强,不代表在规划上强。
- 过滤与打分分开。 先保证可行,再优化成本。
- 失败要显式。 无可用模型时返回 None,由上层决定出口。
- 误判要可恢复。 升级、降级、澄清、拒答,按风险选择。
第 3 条最容易被实现成“默认选最大模型”。这看起来安全,实际上掩盖了能力估计错误:如果最大模型也不满足要求,系统仍然会给出一个看似正常的答案。显式失败让问题暴露在路由层。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 能力分任务 | 按任务类型统计 | 一个总分走天下 |
| 风险有上限 | 按动作配置 | 全局一个阈值 |
| 过滤先于打分 | 先可行再优化 | 直接比综合分 |
| 失败显式 | 无候选返回 None | 默认选最大 |
| 误判可恢复 | 升级/降级/澄清 | 选错就结束 |
这些判据里,“能力分任务”是路由质量的基础。用一个平均准确率代表模型能力,会把“擅长分类、不擅长推理”的模型路由到错误的任务上;分任务统计,才能让阈值有意义。
一个客服 Agent 的例子
客服请求可以粗分为三类:
| 类型 | 能力要求 | 风险 | 路由 |
|---|---|---|---|
| 查询订单状态 | 低 | 低 | small |
| 解释退款政策 | 中 | 中 | medium |
| 处理投诉并补偿 | 高 | 高 | large + 审批 |
如果统一用 large,查询订单也要付大模型成本;如果统一用 small,投诉处理会给出不合适的补偿方案。按类型路由,既省钱又控制风险。
路由信号可以来自意图分类,也可以来自业务字段(订单号、投诉标签)。业务字段通常比模型分类更可靠,因为它来自结构化系统,而不是对文本的猜测。
路由的边界
路由不是万能的:
- 能力估计依赖评测集,分布变化后会失效;
- 小模型试答增加一次调用,可能不比直接大模型便宜;
- 路由逻辑本身可能成为故障点,需要监控和回退;
- 多模型并存增加运维复杂度,版本、配额、限流都要分别管理。
这些成本应该和节省的费用一起算。一个路由系统如果节省 30% 成本,但增加 20% 运维工作和 5% 质量损失,是否值得需要业务判断,而不是技术上的“更优”。
小结
- 路由先按能力和风险过滤,再按成本、延迟和风险打分。
- 能力估计要分任务,风险上限要按动作配置。
- 无可用模型时应显式返回失败,由上层决定升级、降级、澄清或拒答。
- 路由误判要可恢复;升级需要预算,降级需要质量底线。
- 路由本身要评测:准确率、升级率、成本节省、质量损失、不可路由率。
- 多模型并存的运维成本要和节省的费用一起算。
阅读导航:上一节:11.3 可重放架构的适用边界 · 下一节:12.2 级联与集成:用多次调用换可靠性 。
常见错误与边界
- 所有请求都用最大模型。 成本高、延迟大,且掩盖了能力估计问题。
- 只按输入长度路由。 长不等于难,短也可能需要专业知识。
- 直接比综合分。 不过滤能力不足的候选,便宜但做不对的模型会胜出。
- 无候选时默认选最大。 应该显式失败,让上层决定出口。
- 路由后不监控。 能力估计会随分布漂移,升级率和质量损失需要持续看。
- 忽略运维成本。 多模型并存的版本、配额和限流管理,也是路由的代价。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。