以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
上一节的能力卡提供事实,这一节讨论怎么用事实做决策。选型常见的两种错误是:只看一个指标(通常是质量或价格),以及把所有因素塞进一个加权公式,让“合规不达标”被“价格便宜”抵消。
选型矩阵的正确用法是两层:先用硬约束排除不合格候选,再对剩下的候选做加权比较。硬约束是“必须满足”,不参与打分;软指标是“越优越好”,可以权衡。
第一层:硬约束
硬约束通常包括:
| 约束 | 例子 | 不满足的后果 |
|---|---|---|
| 合规 | 数据不能出境 | 法律风险 |
| 能力下限 | 工具成功率 ≥ 0.85 | 任务无法完成 |
| 上下文 | 有效长度 ≥ 32k | 长文档场景不可用 |
| 延迟 | p95 首 token ≤ 1.5s | 交互不可接受 |
| 部署 | 支持私有化/专有云 | 无法采购 |
| 成本上限 | 单请求成本 ≤ 预算 | 商业不可行 |
硬约束不应该是“加权很低的项”,而应该是“不满足就出局”。把合规放进加权公式,等于允许用价格换合规;这在决策上是不成立的。
第二层:软指标加权
通过硬约束后,剩下候选按软指标打分。常见权重:
| 指标 | 含义 | 默认权重示例 |
|---|---|---|
| quality | 任务质量 | 0.8 |
| cost | 单请求成本 | 0.1 |
| risk | 残余风险 | 0.1 |
权重不是真理,是团队对“什么更重要”的显式表达。质量权重高,适合高价值、低容错任务;成本权重高,适合大规模、低风险任务。权重应该写进决策记录,而不是藏在某个人脑子里。
最小实验:加权排序与敏感度
下面的实验有三个候选:small、medium、large,各自有质量、成本和风险分数。默认权重是质量 0.8、成本 0.1、风险 0.1,得分是“质量×权重 − 成本×权重 − 风险×权重”。
# file: agp_lab/selection.py | write
# tier: 3
# verify: python3 -m unittest tests.test_selection
"""选型矩阵:加权得分与权重敏感度。"""
from __future__ import annotations
from dataclasses import dataclass
WEIGHTS = {"quality": 0.8, "cost": 0.1, "risk": 0.1}
@dataclass(frozen=True)
class Candidate:
name: str
quality: float
cost: float
risk: float
CANDIDATES = (
Candidate("small", 0.70, 0.10, 0.20),
Candidate("medium", 0.82, 0.40, 0.35),
Candidate("large", 0.94, 1.00, 0.60),
)
def weighted_score(candidate: Candidate, weights: dict[str, float]) -> float:
return (weights["quality"] * candidate.quality
- weights["cost"] * candidate.cost
- weights["risk"] * candidate.risk)
def rank(candidates: tuple[Candidate, ...],
weights: dict[str, float]) -> list[tuple[str, float]]:
scored = [(candidate.name, weighted_score(candidate, weights))
for candidate in candidates]
return sorted(scored, key=lambda item: (-item[1], item[0]))
def sensitivity(candidates: tuple[Candidate, ...],
base: dict[str, float] | None = None,
delta: float = 0.1) -> dict[str, str]:
"""把每个权重加减 delta 后重新排序,看首选是否翻转。"""
base = base or WEIGHTS
original = rank(candidates, base)[0][0]
result: dict[str, str] = {}
for key in base:
shifted = dict(base)
shifted[key] = max(0.0, shifted[key] + delta)
result[f"{key}+{delta}"] = rank(candidates, shifted)[0][0]
return result
if __name__ == "__main__":
print("ranking:")
for name, score in rank(CANDIDATES, WEIGHTS):
print(f" {name:<8} {score:.3f}")
print("sensitivity:", sensitivity(CANDIDATES))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.selection
输出:
ranking:
large 0.592
medium 0.581
small 0.530
sensitivity: {'quality+0.1': 'large', 'cost+0.1': 'medium', 'risk+0.1': 'medium'}
默认权重下,large 以 0.592 略高于 medium 的 0.581,small 落后。差距只有 0.011,很小,说明默认权重下“large 胜出”并不稳固。
敏感度分析把每个权重各加 0.1 后重新排序:
- 质量权重升到 0.9,large 仍然第一;
- 成本权重升到 0.2,medium 反超;
- 风险权重升到 0.2,medium 也反超。
这就是敏感度分析的价值:它告诉你结论对哪个权重最敏感。如果成本或风险稍微重要一点,选择就会翻转;那么“large 更好”这个结论应该被标注为“有条件”,而不是确定结论。
敏感度分析怎么做
基本做法是:
- 选一个基准权重,得到排序;
- 对每个权重分别上下调整一个步长,重新排序;
- 记录首选是否变化;
- 对变化敏感的权重,重新讨论它的取值。
更严格的做法是做网格搜索或蒙特卡洛:在权重空间里采样,统计每个候选成为第一的比例。这样得到的是“稳健性”,而不只是单点敏感度。
敏感度分析不能替代判断,但它能暴露“结论其实是权重假设的产物”。很多选型争议,本质是双方对权重的看法不同,而不是对事实的看法不同。
总拥有成本
cost 字段通常只算 token 单价,但真实成本还包括:
| 成本项 | 例子 |
|---|---|
| 推理 | token、缓存、重试 |
| 检索 | 向量库、embedding 更新 |
| 运维 | 监控、限流、版本迁移 |
| 人力 | 评测、调优、事故处理 |
| 迁移 | 提示重写、回归测试 |
| 锁定 | 专有接口、数据格式 |
只看 token 单价,会低估小模型的路由/级联复杂度和迁移成本,也会低估大模型的重试与人工兜底成本。选型矩阵应该用总拥有成本,而不是单价。
风险怎么量化
风险是一个主观项,但可以拆成可讨论的子项:
- 幻觉导致的错误决策概率;
- 工具误调用的后果;
- 数据泄露与合规风险;
- 供应商锁定与停服风险;
- 版本升级带来的行为漂移。
每个子项可以打分(比如 0–1),再按业务影响加权。重要的不是分数精确,而是把“风险”从一句模糊的担忧,变成几个可以分别讨论和缓解的项。
架构含义
选型矩阵对架构有四个直接约束:
- 硬约束前置。 不满足合规、能力下限、延迟上限的候选直接出局。
- 权重显式。 权重写进决策记录,支持复核和调整。
- 敏感度必做。 结论对权重敏感时,不能宣称“最优”。
- 成本用 TCO。 不只看单价,还要看运维、迁移和锁定。
第 3 条是选型诚实的体现。一个只在特定权重下成立的结论,应该被描述为“在质量优先的假设下,large 更合适”,而不是“large 最优”。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 硬约束独立 | 先过滤再打分 | 合规进加权 |
| 权重有记录 | 决策文档写明 | 口头约定 |
| 敏感度分析 | 权重扰动后重排 | 只报一个排序 |
| 成本完整 | TCO | 只看 token 单价 |
| 结论有条件 | 说明假设 | 宣称绝对最优 |
这些判据里,“硬约束独立”是底线。合规、安全、能力下限不能用“权重低”来处理;它们要么满足,要么出局。把它们放进加权公式,会让决策在形式上正确、实质上错误。
一个客服平台的选型例子
假设客服平台要在三个模型间选型:
| 候选 | 质量 | 成本 | 风险 | 备注 |
|---|---|---|---|---|
| small | 0.70 | 0.10 | 0.20 | 便宜,复杂投诉吃力 |
| medium | 0.82 | 0.40 | 0.35 | 平衡 |
| large | 0.94 | 1.00 | 0.60 | 质量高,成本高 |
硬约束:工具成功率 ≥ 0.85,p95 首 token ≤ 1.5s。假设 small 不满足工具成功率,直接出局;medium 和 large 进入加权。
如果业务以标准查询为主,成本权重高,medium 胜出;如果业务以复杂投诉为主,质量权重高,large 胜出;如果两者都有,可以路由:标准查询走 medium,复杂投诉走 large。选型矩阵的结论不一定是“选一个”,也可以是“组合”。
选型之后
选型不是终点。上线后要持续验证:
- 能力卡指标是否与线上一致;
- 成本和延迟是否在预算内;
- 失败模式是否与评测一致;
- 权重假设是否仍然成立。
如果线上表现偏离评测,应该回到能力卡和评测集,而不是直接换模型。选型矩阵给出的是“当时的证据下的决策”,证据变化时,决策也应该重新评估。
小结
- 选型分两层:硬约束排除不合格候选,软指标加权比较。
- 合规、安全、能力下限、延迟上限不能进加权公式。
- 权重是团队偏好的显式表达,应写进决策记录。
- 敏感度分析暴露结论对权重的依赖;敏感时结论应标注条件。
- 成本用总拥有成本,不只看 token 单价。
- 选型结论可以是组合(路由/级联),不一定是单一模型。
阅读导航:上一节:13.1 能力卡:把模型边界写成可比较的文档 · 下一节:13.3 卷一回顾:模型、推理与能力边界 。
常见错误与边界
- 把合规放进加权。 价格便宜不能抵消合规不达标;硬约束应先过滤。
- 只看质量。 忽略成本、延迟和风险,会选出无法商用的模型。
- 只看 token 单价。 运维、迁移、锁定和人工兜底也是成本。
- 只报一个排序。 不做敏感度分析,无法知道结论是否稳健。
- 权重不记录。 决策无法复核,争议时只能各说各话。
- 把选型当一次性。 线上表现偏离评测时,应回到证据重新评估。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。