《AI Agent 技术原理与架构·模型、推理与能力边界》13.2 选型矩阵与敏感度

选型不是挑一个总分最高的模型,而是先排除不满足硬约束的候选,再在质量、成本、风险和延迟之间加权。本节用加权评分与权重敏感度实验,演示默认权重下谁胜出、权重微调后结论是否翻转,并说明为什么硬约束不能进加权公式,以及如何用总拥有成本修正 token 单价。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

上一节的能力卡提供事实,这一节讨论怎么用事实做决策。选型常见的两种错误是:只看一个指标(通常是质量或价格),以及把所有因素塞进一个加权公式,让“合规不达标”被“价格便宜”抵消。

选型矩阵的正确用法是两层:先用硬约束排除不合格候选,再对剩下的候选做加权比较。硬约束是“必须满足”,不参与打分;软指标是“越优越好”,可以权衡。

第一层:硬约束

硬约束通常包括:

约束例子不满足的后果
合规数据不能出境法律风险
能力下限工具成功率 ≥ 0.85任务无法完成
上下文有效长度 ≥ 32k长文档场景不可用
延迟p95 首 token ≤ 1.5s交互不可接受
部署支持私有化/专有云无法采购
成本上限单请求成本 ≤ 预算商业不可行

硬约束不应该是“加权很低的项”,而应该是“不满足就出局”。把合规放进加权公式,等于允许用价格换合规;这在决策上是不成立的。

第二层:软指标加权

通过硬约束后,剩下候选按软指标打分。常见权重:

指标含义默认权重示例
quality任务质量0.8
cost单请求成本0.1
risk残余风险0.1

权重不是真理,是团队对“什么更重要”的显式表达。质量权重高,适合高价值、低容错任务;成本权重高,适合大规模、低风险任务。权重应该写进决策记录,而不是藏在某个人脑子里。

最小实验:加权排序与敏感度

下面的实验有三个候选:small、medium、large,各自有质量、成本和风险分数。默认权重是质量 0.8、成本 0.1、风险 0.1,得分是“质量×权重 − 成本×权重 − 风险×权重”。

# file: agp_lab/selection.py | write
# tier: 3
# verify: python3 -m unittest tests.test_selection
"""选型矩阵:加权得分与权重敏感度。"""
from __future__ import annotations

from dataclasses import dataclass

WEIGHTS = {"quality": 0.8, "cost": 0.1, "risk": 0.1}


@dataclass(frozen=True)
class Candidate:
    name: str
    quality: float
    cost: float
    risk: float


CANDIDATES = (
    Candidate("small", 0.70, 0.10, 0.20),
    Candidate("medium", 0.82, 0.40, 0.35),
    Candidate("large", 0.94, 1.00, 0.60),
)


def weighted_score(candidate: Candidate, weights: dict[str, float]) -> float:
    return (weights["quality"] * candidate.quality
            - weights["cost"] * candidate.cost
            - weights["risk"] * candidate.risk)


def rank(candidates: tuple[Candidate, ...],
         weights: dict[str, float]) -> list[tuple[str, float]]:
    scored = [(candidate.name, weighted_score(candidate, weights))
              for candidate in candidates]
    return sorted(scored, key=lambda item: (-item[1], item[0]))


def sensitivity(candidates: tuple[Candidate, ...],
                base: dict[str, float] | None = None,
                delta: float = 0.1) -> dict[str, str]:
    """把每个权重加减 delta 后重新排序,看首选是否翻转。"""
    base = base or WEIGHTS
    original = rank(candidates, base)[0][0]
    result: dict[str, str] = {}
    for key in base:
        shifted = dict(base)
        shifted[key] = max(0.0, shifted[key] + delta)
        result[f"{key}+{delta}"] = rank(candidates, shifted)[0][0]
    return result


if __name__ == "__main__":
    print("ranking:")
    for name, score in rank(CANDIDATES, WEIGHTS):
        print(f"  {name:<8} {score:.3f}")
    print("sensitivity:", sensitivity(CANDIDATES))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.selection

输出:

ranking:
  large    0.592
  medium   0.581
  small    0.530
sensitivity: {'quality+0.1': 'large', 'cost+0.1': 'medium', 'risk+0.1': 'medium'}

默认权重下,large 以 0.592 略高于 medium 的 0.581,small 落后。差距只有 0.011,很小,说明默认权重下“large 胜出”并不稳固。

敏感度分析把每个权重各加 0.1 后重新排序:

  • 质量权重升到 0.9,large 仍然第一;
  • 成本权重升到 0.2,medium 反超;
  • 风险权重升到 0.2,medium 也反超。

这就是敏感度分析的价值:它告诉你结论对哪个权重最敏感。如果成本或风险稍微重要一点,选择就会翻转;那么“large 更好”这个结论应该被标注为“有条件”,而不是确定结论。

敏感度分析怎么做

基本做法是:

  1. 选一个基准权重,得到排序;
  2. 对每个权重分别上下调整一个步长,重新排序;
  3. 记录首选是否变化;
  4. 对变化敏感的权重,重新讨论它的取值。

更严格的做法是做网格搜索或蒙特卡洛:在权重空间里采样,统计每个候选成为第一的比例。这样得到的是“稳健性”,而不只是单点敏感度。

敏感度分析不能替代判断,但它能暴露“结论其实是权重假设的产物”。很多选型争议,本质是双方对权重的看法不同,而不是对事实的看法不同。

总拥有成本

cost 字段通常只算 token 单价,但真实成本还包括:

成本项例子
推理token、缓存、重试
检索向量库、embedding 更新
运维监控、限流、版本迁移
人力评测、调优、事故处理
迁移提示重写、回归测试
锁定专有接口、数据格式

只看 token 单价,会低估小模型的路由/级联复杂度和迁移成本,也会低估大模型的重试与人工兜底成本。选型矩阵应该用总拥有成本,而不是单价。

风险怎么量化

风险是一个主观项,但可以拆成可讨论的子项:

  • 幻觉导致的错误决策概率;
  • 工具误调用的后果;
  • 数据泄露与合规风险;
  • 供应商锁定与停服风险;
  • 版本升级带来的行为漂移。

每个子项可以打分(比如 0–1),再按业务影响加权。重要的不是分数精确,而是把“风险”从一句模糊的担忧,变成几个可以分别讨论和缓解的项。

架构含义

选型矩阵对架构有四个直接约束:

  1. 硬约束前置。 不满足合规、能力下限、延迟上限的候选直接出局。
  2. 权重显式。 权重写进决策记录,支持复核和调整。
  3. 敏感度必做。 结论对权重敏感时,不能宣称“最优”。
  4. 成本用 TCO。 不只看单价,还要看运维、迁移和锁定。

第 3 条是选型诚实的体现。一个只在特定权重下成立的结论,应该被描述为“在质量优先的假设下,large 更合适”,而不是“large 最优”。

架构判据

判据合格的样子不合格的样子
硬约束独立先过滤再打分合规进加权
权重有记录决策文档写明口头约定
敏感度分析权重扰动后重排只报一个排序
成本完整TCO只看 token 单价
结论有条件说明假设宣称绝对最优

这些判据里,“硬约束独立”是底线。合规、安全、能力下限不能用“权重低”来处理;它们要么满足,要么出局。把它们放进加权公式,会让决策在形式上正确、实质上错误。

一个客服平台的选型例子

假设客服平台要在三个模型间选型:

候选质量成本风险备注
small0.700.100.20便宜,复杂投诉吃力
medium0.820.400.35平衡
large0.941.000.60质量高,成本高

硬约束:工具成功率 ≥ 0.85,p95 首 token ≤ 1.5s。假设 small 不满足工具成功率,直接出局;medium 和 large 进入加权。

如果业务以标准查询为主,成本权重高,medium 胜出;如果业务以复杂投诉为主,质量权重高,large 胜出;如果两者都有,可以路由:标准查询走 medium,复杂投诉走 large。选型矩阵的结论不一定是“选一个”,也可以是“组合”。

选型之后

选型不是终点。上线后要持续验证:

  • 能力卡指标是否与线上一致;
  • 成本和延迟是否在预算内;
  • 失败模式是否与评测一致;
  • 权重假设是否仍然成立。

如果线上表现偏离评测,应该回到能力卡和评测集,而不是直接换模型。选型矩阵给出的是“当时的证据下的决策”,证据变化时,决策也应该重新评估。

小结

  • 选型分两层:硬约束排除不合格候选,软指标加权比较。
  • 合规、安全、能力下限、延迟上限不能进加权公式。
  • 权重是团队偏好的显式表达,应写进决策记录。
  • 敏感度分析暴露结论对权重的依赖;敏感时结论应标注条件。
  • 成本用总拥有成本,不只看 token 单价。
  • 选型结论可以是组合(路由/级联),不一定是单一模型。

阅读导航:上一节:13.1 能力卡:把模型边界写成可比较的文档 · 下一节:13.3 卷一回顾:模型、推理与能力边界 。

常见错误与边界

  1. 把合规放进加权。 价格便宜不能抵消合规不达标;硬约束应先过滤。
  2. 只看质量。 忽略成本、延迟和风险,会选出无法商用的模型。
  3. 只看 token 单价。 运维、迁移、锁定和人工兜底也是成本。
  4. 只报一个排序。 不做敏感度分析,无法知道结论是否稳健。
  5. 权重不记录。 决策无法复核,争议时只能各说各话。
  6. 把选型当一次性。 线上表现偏离评测时,应回到证据重新评估。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图