《AI Agent 技术原理与架构·模型、推理与能力边界》8.3 参数知识 vs 检索知识

参数知识便宜、稳定、覆盖广,但会过期且无法追溯;检索知识新鲜、可引用,但依赖检索质量并增加延迟。本节用覆盖度、波动性和更新天数三个维度,演示一个知识来源选择器如何把问题路由到参数记忆或外部检索,并讨论混合策略、降级路径与过期风险的度量方式。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

语言模型的知识有两个来源:训练时写进参数的知识,和推理时从外部取回的知识。前者是“记住的”,后者是“查到的”。Agent 的很多可靠性问题,根源不是模型不够大,而是把该查的东西交给了记忆,或者把稳定的常识浪费在一次检索上。

这一节把两种知识放在同一张表里比较,给出一个可执行的选择规则,并说明为什么“参数 + 检索”的混合策略通常优于任何单一路径。

两种知识的区别

维度参数知识检索知识
来源预训练/微调数据文档库、数据库、API
新鲜度截止到训练时间取决于索引更新
成本一次前向,边际成本低检索 + 重排 + 更长上下文
可追溯难,无法给出原始出处可以给文档 ID 和片段
覆盖广而浅窄而深
失败模式过期、编造、混淆召回失败、片段无关、延迟

参数知识像一个人的常识:反应快,但会记错、会过时,而且说不出是从哪本书看到的。检索知识像查手册:准确、可引用,但要先找到正确的那一页,找到之后还要读懂。

两者不是替代关系。参数知识负责语言理解、推理和常识;检索知识负责事实、时效和专有信息。一个 Agent 如果只会检索,会在检索失败时完全失去行动能力;如果只会参数,会在时效性问题上系统性出错。

三个选择判据

判断一个知识点该走哪条路,可以看三个维度:

  1. 覆盖度:模型在训练中见过多少同类内容。覆盖低,参数知识不可靠。
  2. 波动性:知识变化有多快。高波动内容(价格、天气、库存)必须检索。
  3. 更新天数:参数知识距离上次可信更新的时间。超过新鲜度窗口,应转为检索。

这三个维度不是独立的。一个覆盖度高但波动性也高的知识点(比如某云厂商的 API 价格),仍然应该检索;一个覆盖度低但几乎不变的知识点(比如某个历史事件的年份),可以在参数里保留,但要接受它可能记错。

最小实验:知识来源选择

下面的实验用四个知识点演示选择逻辑:Python 语法、天气、API 价格、公司政策。每个知识点带更新天数、覆盖度和波动性,选择器按规则决定走参数还是检索。

# file: agp_lab/knowledge.py | write
# tier: 3
# verify: python3 -m unittest tests.test_knowledge
"""参数知识 vs 检索知识:覆盖、时效与波动性共同决定来源。"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class KnowledgeItem:
    topic: str
    updated_days: int
    coverage: float
    volatility: str


ITEMS = (
    KnowledgeItem("python syntax", 200, 0.95, "low"),
    KnowledgeItem("weather", 0, 0.20, "high"),
    KnowledgeItem("api pricing", 45, 0.90, "high"),
    KnowledgeItem("company policy", 10, 0.75, "medium"),
)


def choose_source(item: KnowledgeItem, freshness_days: int = 90) -> str:
    if not 0 <= item.coverage <= 1:
        raise ValueError("coverage 必须在 [0, 1] 内")
    if item.volatility not in ("low", "medium", "high"):
        raise ValueError("volatility 未知")
    if item.coverage < 0.8:
        return "retrieve"
    if item.volatility == "high":
        return "parametric" if item.updated_days <= 7 else "retrieve"
    horizon = freshness_days * 4 if item.volatility == "low" else freshness_days
    if item.updated_days > horizon:
        return "retrieve"
    return "parametric"


def stale_risk(item: KnowledgeItem, freshness_days: int = 90) -> float:
    """参数知识过期的粗略风险:0 表示新鲜,1 表示完全过期。"""
    if item.volatility == "high":
        horizon = 7
    elif item.volatility == "medium":
        horizon = freshness_days
    else:
        horizon = freshness_days * 4
    return min(1.0, item.updated_days / horizon)


if __name__ == "__main__":
    for item in ITEMS:
        print(f"{item.topic:<16} source={choose_source(item):<10} "
              f"stale_risk={stale_risk(item):.2f}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.knowledge

输出:

python syntax    source=parametric stale_risk=0.56
weather          source=retrieve   stale_risk=0.00
api pricing      source=retrieve   stale_risk=1.00
company policy   source=retrieve   stale_risk=0.11

python syntax 覆盖度 0.95、波动性低、更新 200 天。低波动知识的窗口被放宽到 4 倍新鲜度(360 天),所以仍走参数;但 stale_risk=0.56 提示它已经过半,不是“永远有效”。

weather 覆盖度只有 0.20,直接走检索。注意它的 stale_risk=0.00 看起来很好,但这只表示“如果走参数,它今天更新过”;它根本不该走参数。这说明单一指标会误导,必须和来源选择一起看。

api pricing 覆盖度 0.90,看起来够高,但波动性高且更新 45 天,远超 7 天窗口,stale_risk=1.00,必须检索。价格是最典型的“参数知识陷阱”:模型能流利地说出一个价格,但那个价格很可能已经过期。

company policy 覆盖度 0.75,低于 0.8 阈值,直接检索。公司政策通常不在公开训练数据里,覆盖度低是结构性的,不是模型能力问题。

选择规则的边界

上面的规则是一个教学用的启发式,不是通用算法。真实系统里,阈值应该由评测决定:

  • 覆盖度可以用“模型在验证集上不检索时的准确率”估计;
  • 波动性可以按知识类型标注,也可以按历史变更频率统计;
  • 新鲜度窗口应该按业务容错度设置,而不是统一 90 天。

规则的价值在于把“拍脑袋”变成“可复查的参数”。当线上出现一类错误时,团队可以问:是覆盖度估高了,还是波动性标低了,还是窗口设长了?没有这套参数,只能笼统地说“模型不准”。

混合策略

大多数生产系统采用混合策略,而不是二选一:

策略做法适用
参数优先先让模型答,低置信再检索低风险、常识型
检索优先先检索,再让模型基于证据回答事实型、合规型
并行同时取参数答案和检索结果,做一致性比对高风险、可容错延迟
强制检索特定意图一律检索价格、库存、政策

“参数优先”省成本,但错误会先发生再被纠正;“检索优先”更稳,但每个请求都要付检索和上下文成本。选择哪种,取决于错误的代价和检索的可靠性。如果检索本身经常失败,检索优先反而会制造新的失败模式。

并行策略值得单独说:让参数答案和检索答案比对,一致时高置信,不一致时升级。它比单一策略贵,但能发现“模型记错了”和“检索没找到”两类问题。对高风险决策,这个成本通常值得。

过期风险怎么度量

stale_risk 是一个粗略的线性度量:更新天数除以该知识类型的窗口,截断到 1。它假设知识按固定速度过期,现实中并非如此——价格可能突然调整,政策可能一次性重写。

更实际的做法是维护“知识新鲜度预算”:

  • 每个知识域有一个最长未更新时间;
  • 超过阈值就触发重新索引或人工复核;
  • 线上答案命中过期知识时,记录一次事件;
  • 按域统计过期事件,而不是全站一个数字。

这样,“知识过期”从模型问题变成运维问题,可以被排期、被监控、被修复。

知识截止与版本

参数知识有一个硬边界:训练截止时间。模型不知道截止之后发生的事,也可能在截止之前的事上记错。Agent 的系统提示应该明确这个边界,并在需要时效信息时强制检索。

版本同样重要。同一个 API 在 v1 和 v2 里参数不同,模型可能把两个版本混在一起。检索时应该把版本文档作为独立条目,并在答案里标注版本;参数知识无法可靠地区分版本,这正是它不适合 API 文档的原因。

架构含义

两种知识的划分对架构有四个直接约束:

  1. 知识路由要显式。 不要默认“模型知道”;按意图和知识域决定是否检索。
  2. 检索失败要有降级。 检索不到时,明确说不知道,而不是退回参数知识编一个。
  3. 答案要带出处。 检索知识给文档 ID 和片段;参数知识标注“未经外部核实”。
  4. 新鲜度要可监控。 每个知识域有更新窗口和过期事件统计。

第 2 条最容易被忽略。很多系统在检索为空时,会让模型“根据已有知识回答”,结果把一次检索失败变成了一个事实幻觉。更安全的做法是把空检索当成一个明确状态,交给上层决定是拒答、澄清还是转人工。

架构判据

判据合格的样子不合格的样子
来源显式每个答案标注参数/检索不区分来源
路由有据按覆盖、波动、新鲜度全部走检索或全部靠模型
失败有降级空检索明确拒答/澄清空检索退回编造
出处可回查文档 ID、片段、版本只给自然语言答案
过期可监控按知识域统计过期事件上线后不检查

这些判据里,“来源显式”是其他判据的前提。如果系统不记录答案来自参数还是检索,就无法统计哪一类知识在出错,也无法决定该扩索引还是该换模型。

一个客服 Agent 的例子

客服 Agent 会同时遇到两类问题:

  • “你们的退货政策是什么?”——政策在文档库里,覆盖度低、更新中等,应检索并给条款 ID。
  • “什么是 HTTP 404?”——这是通用常识,参数知识足够,检索反而浪费。

如果系统对所有问题都检索,第二个问题会多一次延迟,还可能召回无关文档;如果对所有问题都靠参数,第一个问题就可能给出一个过时或编造的政策。按意图路由,是同时避免这两种错误的最小代价。

更进一步,退货政策这类高合规问题可以“强制检索 + 引用核对”:答案必须绑定条款 ID,核对失败就不输出。这把知识来源问题变成了可验证的证据链问题。

如何评测来源选择

评测不能只看最终答案准确率,还要看来源是否选对:

指标含义用途
路由准确率该检索的是否检索了发现规则漏洞
检索命中率检索结果是否包含答案评估索引质量
参数错误率不检索时答错的概率校准覆盖度阈值
过期命中率答案引用了过期知识触发索引更新
降级正确率空检索时是否正确拒答防止幻觉回退

路由准确率和参数错误率应该一起看。只优化路由准确率,可能把大量简单问题也送去检索;只看参数错误率,可能低估检索失败带来的问题。

小结

  • 参数知识便宜、广覆盖,但会过期、难追溯;检索知识新鲜、可引用,但依赖索引质量。
  • 选择来源应看覆盖度、波动性和更新天数,不能只看“模型知不知道”。
  • 单一指标会误导:低覆盖的知识即使“刚更新”也不该走参数。
  • 混合策略(参数优先、检索优先、并行、强制检索)各有适用场景,取决于错误代价与检索可靠性。
  • 检索失败要显式降级,不能退回参数知识编造。
  • 过期风险应按知识域监控,把知识维护变成可排期的运维工作。

阅读导航:上一节:8.2 校准与不确定性表达 · 下一节:9.1 Lost in the Middle:长上下文的中间盲区 。

常见错误与边界

  1. 默认模型什么都知道。 参数知识有截止时间和覆盖盲区;时效、专有信息必须检索。
  2. 所有问题都检索。 简单常识也检索会增加延迟,并可能召回无关文档干扰回答。
  3. 检索为空时退回参数。 这会把检索失败变成事实幻觉;空结果应显式拒答或澄清。
  4. 把覆盖度高当可靠。 高覆盖但高波动的知识(价格、库存)仍然必须检索。
  5. 不记录答案来源。 无法区分参数错误和检索错误,也就无法针对性修复。
  6. 过期只看全站平均。 不同知识域的更新频率不同,应按域设置窗口和告警。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图