《AI Agent 技术原理与架构·模型、推理与能力边界》12.1 路由:按能力/成本/风险分流

不是每个请求都值得用最大的模型。路由先按能力与风险过滤候选,再按成本、延迟和风险打分,把简单任务交给小模型、困难任务交给大模型。本节用可行性过滤加打分的实验,演示能力阈值、风险上限和成本权重如何改变选择,并讨论路由误判后的升级、降级与澄清兜底。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

Agent 系统里常见的浪费是“所有请求都用最大模型”。简单分类、格式转换、短问答用大模型,成本高、延迟大,效果却未必更好;反过来,所有请求都用小模型,复杂规划和多步推理又会系统性失败。路由(routing)就是把请求分配到合适模型的过程。

路由不是“按 token 数猜”,也不是“让模型自己选”。它需要先判断任务需要多少能力、允许多大风险,再在候选模型里选一个满足约束且成本合理的。判断错了,要么浪费钱,要么答错。

路由的两个阶段

一个可解释的路由通常分两步:

  1. 可行性过滤:模型能力是否达到任务要求,风险是否在允许范围内。
  2. 打分选择:在可行候选里,按能力、成本、延迟和风险综合打分。

先过滤再打分很重要。如果直接按“能力 − 成本”打分,一个能力不足但很便宜的模型可能胜出;过滤把“能不能做”和“划不划算”分开,避免用成本换掉正确性。

能力与风险怎么估

能力不是一个标量,但工程上需要一个可比较的估计:

来源做法局限
历史评测按任务类型统计各模型准确率分布变化会失效
路由分类器用小模型预测难度分类器本身会错
规则按意图、工具数、上下文长度粗糙但可解释
在线反馈用重试/升级信号修正滞后

风险同样需要估计:金融、医疗、删除类动作的风险上限低;查询、摘要的上限高。能力阈值和风险上限应该按任务配置,而不是全局一个值。

最小实验:过滤与打分

下面的实验有三个候选模型:small、medium、large,各自有能力、成本和风险分数。路由先过滤掉能力不足或风险超限的候选,再按“能力 − 成本权重×成本 − 风险权重×风险”打分。

# file: agp_lab/router.py | write
# tier: 3
# verify: python3 -m unittest tests.test_router
"""能力路由:可行性过滤后,按能力、成本与风险打分。"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class Route:
    name: str
    capability: float
    cost: float
    risk: float


ROUTES = (
    Route("small", 0.60, 0.10, 0.20),
    Route("medium", 0.80, 0.40, 0.40),
    Route("large", 0.95, 1.00, 0.70),
)


def feasible(route: Route, need: float, risk_limit: float) -> bool:
    return route.capability >= need and route.risk <= risk_limit


def score(route: Route, cost_weight: float = 0.3,
          risk_weight: float = 0.2) -> float:
    return route.capability - cost_weight * route.cost - risk_weight * route.risk


def choose(need: float, risk_limit: float = 1.0,
           routes: tuple[Route, ...] = ROUTES,
           cost_weight: float = 0.3,
           risk_weight: float = 0.2) -> str | None:
    candidates = [route for route in routes if feasible(route, need, risk_limit)]
    if not candidates:
        return None
    return max(candidates, key=lambda route: score(route, cost_weight, risk_weight)).name


if __name__ == "__main__":
    for need, risk_limit in ((0.5, 0.5), (0.7, 0.5), (0.9, 1.0), (0.99, 1.0)):
        print(f"need={need:.2f} risk<={risk_limit:.2f} -> {choose(need, risk_limit)}")
    print("cost_first:", choose(0.5, 0.5, cost_weight=3.0))
    print("unroutable:", choose(0.99, 0.1))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.router

输出:

need=0.50 risk<=0.50 -> medium
need=0.70 risk<=0.50 -> medium
need=0.90 risk<=1.00 -> large
need=0.99 risk<=1.00 -> None
cost_first: small
unroutable: None

第一行 need=0.50, risk<=0.50:small 能力 0.60 够,风险 0.20 也够;medium 能力 0.80、风险 0.40 也够;large 风险 0.70 超过 0.50,被过滤。剩下 small 和 medium 打分,medium 更高,所以选 medium。

第二行 need=0.70:small 能力不足被过滤,只剩 medium。第三行 need=0.90:只有 large 能力够,选 large。第四行 need=0.99:没有模型达到 0.99,返回 None,表示“路由不了”,而不是硬选一个。

cost_first: small 是把成本权重提高到 3.0 后的结果:small 的得分最高。unroutable: None 是风险上限 0.1 时,large 的风险 0.7 超限,其他模型能力不足,同样返回 None。

None 是一个重要设计。路由失败时应该显式返回“无可用模型”,由上层决定升级、降级、拒答还是转人工,而不是悄悄选一个不满足约束的模型。

路由信号从哪里来

信号优点风险
意图分类快、便宜分类错误直接路由错
输入长度简单长不等于难
工具数量反映多步需求单工具也可能很难
检索置信度反映证据充分度检索错会误导
小模型试答直接观察能力增加一次调用

“小模型试答”是一种实用策略:先让小模型回答,用置信度、格式合法性或验证器判断是否可靠,不可靠再升级。这已经接近级联(cascade),下一节会展开。

单一信号都容易误判。意图分类会把“看起来简单但需要多步”的请求分到小模型;输入长度会把“短但需要专业知识”的请求分到小模型。组合多个信号,或者用校准后的置信度,比单看一个特征稳。

路由误判的兜底

路由一定有误判,关键是误判后能恢复:

  • 升级:小模型输出低置信、格式错误或验证失败时,转大模型;
  • 降级:大模型超时或不可用时,用小模型给一个保守答案;
  • 澄清:路由不确定时,先问用户,而不是猜;
  • 拒答:没有模型满足约束时,明确说不支持。

升级需要成本预算,否则一次请求可能调用多个模型,成本超过直接用大模型。降级需要质量底线,不能让小模型在高压任务上“凑合答”。澄清和拒答则是产品层面的出口。

兜底策略还要考虑用户体验。升级会带来额外延迟,用户可能感知为“卡了一下”;降级可能给出更短的答案;拒答需要清晰的解释和替代路径。这些都应该在路由设计时一起考虑,而不是等上线后由用户发现。

路由与评测

路由本身也要评测,而不只是评测每个模型:

指标含义
路由准确率是否选到了合适的模型
升级率多少请求需要升级
成本节省相比全用大模型省了多少
质量损失相比全用大模型差了多少
不可路由率多少请求没有候选

只看成本节省会高估路由价值;只看质量损失会低估路由收益。两者要放在一起,形成“每节省 1% 成本损失多少质量”的曲线,再决定路由策略。

路由的分层实现

工程上,路由通常不是一个大分类器,而是几层简单规则的组合:

层判断例子
硬规则业务字段/权限金额超过阈值 → 大模型 + 审批
意图任务类型查询、办理、投诉
难度上下文长度/工具数多工具 → 大模型
试答小模型置信度低置信 → 升级

分层的好处是每一层都可解释、可单独调整。硬规则出问题时改配置,意图分类出问题时改标签,试答出问题时改阈值;如果所有逻辑揉进一个模型,排查会困难得多。

分层也便于降级。某一层不可用时,可以跳过它,用更保守的默认值继续,而不是整个路由失败。

架构含义

路由对架构有四个直接约束:

  1. 能力估计要分任务。 一个模型在分类上强,不代表在规划上强。
  2. 过滤与打分分开。 先保证可行,再优化成本。
  3. 失败要显式。 无可用模型时返回 None,由上层决定出口。
  4. 误判要可恢复。 升级、降级、澄清、拒答,按风险选择。

第 3 条最容易被实现成“默认选最大模型”。这看起来安全,实际上掩盖了能力估计错误:如果最大模型也不满足要求,系统仍然会给出一个看似正常的答案。显式失败让问题暴露在路由层。

架构判据

判据合格的样子不合格的样子
能力分任务按任务类型统计一个总分走天下
风险有上限按动作配置全局一个阈值
过滤先于打分先可行再优化直接比综合分
失败显式无候选返回 None默认选最大
误判可恢复升级/降级/澄清选错就结束

这些判据里,“能力分任务”是路由质量的基础。用一个平均准确率代表模型能力,会把“擅长分类、不擅长推理”的模型路由到错误的任务上;分任务统计,才能让阈值有意义。

一个客服 Agent 的例子

客服请求可以粗分为三类:

类型能力要求风险路由
查询订单状态低低small
解释退款政策中中medium
处理投诉并补偿高高large + 审批

如果统一用 large,查询订单也要付大模型成本;如果统一用 small,投诉处理会给出不合适的补偿方案。按类型路由,既省钱又控制风险。

路由信号可以来自意图分类,也可以来自业务字段(订单号、投诉标签)。业务字段通常比模型分类更可靠,因为它来自结构化系统,而不是对文本的猜测。

路由的边界

路由不是万能的:

  • 能力估计依赖评测集,分布变化后会失效;
  • 小模型试答增加一次调用,可能不比直接大模型便宜;
  • 路由逻辑本身可能成为故障点,需要监控和回退;
  • 多模型并存增加运维复杂度,版本、配额、限流都要分别管理。

这些成本应该和节省的费用一起算。一个路由系统如果节省 30% 成本,但增加 20% 运维工作和 5% 质量损失,是否值得需要业务判断,而不是技术上的“更优”。

小结

  • 路由先按能力和风险过滤,再按成本、延迟和风险打分。
  • 能力估计要分任务,风险上限要按动作配置。
  • 无可用模型时应显式返回失败,由上层决定升级、降级、澄清或拒答。
  • 路由误判要可恢复;升级需要预算,降级需要质量底线。
  • 路由本身要评测:准确率、升级率、成本节省、质量损失、不可路由率。
  • 多模型并存的运维成本要和节省的费用一起算。

阅读导航:上一节:11.3 可重放架构的适用边界 · 下一节:12.2 级联与集成:用多次调用换可靠性 。

常见错误与边界

  1. 所有请求都用最大模型。 成本高、延迟大,且掩盖了能力估计问题。
  2. 只按输入长度路由。 长不等于难,短也可能需要专业知识。
  3. 直接比综合分。 不过滤能力不足的候选,便宜但做不对的模型会胜出。
  4. 无候选时默认选最大。 应该显式失败,让上层决定出口。
  5. 路由后不监控。 能力估计会随分布漂移,升级率和质量损失需要持续看。
  6. 忽略运维成本。 多模型并存的版本、配额和限流管理,也是路由的代价。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图