以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
“模型幻觉”经常被当成一个统一的问题,于是解决方案也变成一个统一的愿望:“让模型少胡说”。但事实错误、引用编造和执行结果谎报,成因和防线完全不同。事实错误需要检索和事实核查;引用错误需要来源比对;执行错误需要工具状态和外部验证。用一种方法处理三类问题,通常三类都处理不好。
这一节先把幻觉拆开,再讨论每一类如何被检测、如何被度量,以及为什么“模型说自己完成了”不能作为完成证据。
三类幻觉
| 类型 | 定义 | 例子 | 主要防线 |
|---|---|---|---|
| 事实幻觉 | 陈述与可核实事实不符 | 把某国首都说错 | 检索、事实核查、拒答 |
| 引用幻觉 | 引用不存在的来源或片段 | 编造论文标题、链接 | 来源比对、引用定位 |
| 执行幻觉 | 声称执行了未执行或失败的动作 | 说测试通过但实际失败 | 工具状态、外部验证 |
三类幻觉的共同点是“输出与证据不一致”,区别在于证据在哪里。事实的证据是世界知识或数据库;引用的证据是原始文档;执行的证据是工具返回和系统状态。没有证据,就无法判定是不是幻觉,只能判定“听起来可不可信”。
这也解释了为什么单靠模型自评无法解决幻觉:模型的自评依据仍然是它自己的表示,而不是外部证据。要检测幻觉,必须引入模型之外的信号。
为什么“看起来对”不够
语言模型的目标是生成合理的续写,不是生成可验证的陈述。一个错误事实如果符合上下文风格,可能比一个正确但表达生硬的陈述更容易被生成。引用也是这样:模型可以生成格式完美、作者和年份都像真的、但根本不存在的文献。
执行幻觉更隐蔽,因为 Agent 的输出会进入后续决策。模型说“已经重启服务”,编排器可能就不再重试;模型说“测试通过”,审查者可能就跳过检查。错误不是停留在文本里,而是改变了系统行为。
引用幻觉的两种形态
引用幻觉可以再分成两种,防线不同:
| 形态 | 表现 | 防线 |
|---|---|---|
| 来源不存在 | 编造论文、链接、条款号 | 来源集合比对 |
| 来源存在但片段不匹配 | 引用真实文档,内容却对不上 | 片段定位与哈希 |
第一种容易发现:把引用的 ID 拿去查,查不到就是编造。第二种更隐蔽:文档是真的,标题是真的,甚至页码也是真的,但引用的那句话不在那里。只检查“引用是否存在”会漏掉这一类。
对 Agent 来说,第二种更危险,因为它看起来完全可信。防线应该要求引用绑定到具体片段(段落 ID、字符区间或哈希),并在生成后回查片段内容是否支持结论。只给文档 ID 不够。
最小实验:分类与未接地率
下面的实验给每条陈述标注“是否有支持”“引用是否存在”“执行是否成功”,然后按优先级分类。它不判断事实本身,只演示如何把不同证据缺失映射到不同类别。
# file: agp_lab/hallucination.py | write
# tier: 3
# verify: python3 -m unittest tests.test_hallucination
"""幻觉分类:事实不支持、引用不存在、执行结果不符。"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class Claim:
text: str
supported: bool
citation: str | None
executed: bool
execution_ok: bool
SOURCES = {"doc#1", "doc#3"}
def classify(claim: Claim, sources: set[str] = SOURCES) -> str:
if claim.citation is not None and claim.citation not in sources:
return "citation"
if claim.executed and not claim.execution_ok:
return "execution"
if not claim.supported:
return "fact"
return "grounded"
def audit(claims: list[Claim], sources: set[str] = SOURCES) -> dict[str, int]:
result = {"grounded": 0, "fact": 0, "citation": 0, "execution": 0}
for claim in claims:
result[classify(claim, sources)] += 1
return result
def ungrounded_rate(claims: list[Claim], sources: set[str] = SOURCES) -> float:
if not claims:
return 0.0
return sum(1 for claim in claims if classify(claim, sources) != "grounded") / len(claims)
CLAIMS = [
Claim("Paris is the capital of France", True, "doc#1", False, True),
Claim("Berlin is the capital of France", False, "doc#1", False, True),
Claim("The manual says X", True, "doc#9", False, True),
Claim("Tests passed", True, None, True, False),
]
if __name__ == "__main__":
for claim in CLAIMS:
print(f"{classify(claim):<9} {claim.text}")
print("audit:", audit(CLAIMS))
print("ungrounded_rate:", f"{ungrounded_rate(CLAIMS):.1%}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.hallucination
输出:
grounded Paris is the capital of France
fact Berlin is the capital of France
citation The manual says X
execution Tests passed
audit: {'grounded': 1, 'fact': 1, 'citation': 1, 'execution': 1}
ungrounded_rate: 75.0%
第一条有支持、引用存在、没有执行声明,判为 grounded。第二条事实不支持,判为 fact。第三条引用 doc#9 不在来源集合里,判为 citation;即使它的文本可能正确,引用不存在也使它不可审计。第四条声称执行了测试但执行失败,判为 execution。
分类有优先级:引用错误先于事实错误,执行错误先于事实错误。这是工程选择,不是逻辑必然。优先级应该反映“哪类错误更不可接受、哪类证据更容易获得”。对 Agent 来说,执行错误通常优先级最高,因为它直接改变系统状态。
ungrounded_rate: 75.0% 表示四条里三条没有接地。这个指标比“幻觉率”更可操作:它明确要求每条陈述绑定证据,而不是让评审者凭感觉判断。真实系统里,未接地率应该按类型分别统计,因为三类的可接受阈值不同。
执行幻觉的检测链
执行幻觉不能靠“再问模型一次”来检测,因为模型会给出同样的叙述。可靠的检测是一条外部链:
- 调用记录:工具有没有真的被调用,参数是什么;
- 返回状态:工具返回成功、失败还是超时;
- 系统状态:目标对象是否真的改变(文件是否存在、订单状态是否更新);
- 一致性检查:模型叙述与上述三项是否一致。
四步里,前两步来自工具层,第三步来自业务系统,第四步才是模型输出。任何一步缺失,执行声明都只能算“未经确认”。在自动化流程里,未经确认的完成声明应该被当作未完成处理。
分类如何绑定防线
| 类型 | 检测信号 | 防线 | 失败时的动作 |
|---|---|---|---|
| 事实 | 检索结果不支持 | 引用核对、事实核查 | 拒答或标注不确定 |
| 引用 | 来源不存在/片段不匹配 | 文档 ID + 片段哈希 | 删除引用或重新检索 |
| 执行 | 工具状态与声明不符 | 外部验证、状态机 | 回滚、重试、升级 |
三类防线不能互相替代。检索能降低事实幻觉,但不能阻止模型编造引用;引用核对能发现假引用,但不能验证执行;执行验证能确认动作,但不能保证事实陈述正确。一个可靠的 Agent 需要三层都有,而不是选一层做到极致。
评测集怎么设计
幻觉评测不能只收集“答错的样本”,要按类型分层:
| 层 | 样本 | 目的 |
|---|---|---|
| 有证据且正确 | 检索支持答案 | 测正常路径 |
| 无证据 | 知识库没有答案 | 测拒答 |
| 假引用 | 引用不存在的来源 | 测引用核对 |
| 执行失败 | 工具返回错误 | 测执行验证 |
| 执行成功但叙述错 | 工具成功、模型说失败 | 测一致性 |
第三、四、五层最容易被忽略,因为它们需要构造负样本。只测第一层,系统会显得很好;上线后遇到无证据或工具失败,才会暴露问题。
评测还应该记录“错误的严重度”。同样一条幻觉,说错一个无关事实和谎报转账成功,后果完全不同;把所有错误算成一个比率,会掩盖高风险类型。
幻觉、错误与不确定性的区别
三个概念经常被混用,但处理方式不同:
| 概念 | 含义 | 处理 |
|---|---|---|
| 幻觉 | 输出与证据不符,且模型没有依据 | 补证据、核对、拒答 |
| 错误 | 输出与事实不符,但有依据(依据本身错) | 修数据源、换检索 |
| 不确定 | 模型知道自己不知道 | 澄清、拒答、升级 |
区分它们有实际意义。如果错误来自过时文档,换更大的模型不会解决;如果模型只是不确定,强制它给答案反而会制造幻觉。把三类问题分开统计,才能把资源投到正确的地方。
一个常见的误判是把“有依据但依据错”算成幻觉,然后去调提示词。真正要修的是知识源。另一个误判是把“不确定”当成“不会”,于是不断加长提示,结果模型更自信地编造。
分类统计的意义就在这里:它让团队知道该修知识源、修提示,还是修拒答路径。
架构含义
幻觉分类对架构有四个直接约束:
- 每条关键陈述要有证据绑定。 事实绑来源,引用绑片段,执行绑工具状态。
- 分类统计,不报单一幻觉率。 三类错误的阈值和修复方式不同。
- 执行声明必须外部验证。 模型说完成只触发验证,不作为完成依据。
- 无法接地时要允许拒答。 没有证据时,明确说“不知道”比编一个答案更安全。
第 4 条需要产品层面的支持。很多界面不鼓励“不知道”,模型于是倾向于给一个看起来有用的答案。要降低幻觉,必须让拒答成为一个被允许、被正确展示的结果。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 证据可追溯 | 每条关键陈述有来源/片段/状态 | 只有自然语言结论 |
| 分类可统计 | 事实、引用、执行分开报表 | 一个“幻觉率” |
| 引用可核对 | 文档 ID 与片段能回查 | 只检查链接格式 |
| 执行可验证 | 工具状态与声明比对 | 相信模型自述 |
| 拒答有路径 | 无证据时明确不确定 | 强制给出答案 |
这些判据里,“执行可验证”是 Agent 特有的底线。聊天机器人的错误陈述主要影响人;Agent 的错误声明会触发自动化决策,影响面更大。
一个客服 Agent 的例子
用户问“我的退款到账了吗”。模型可能:
- 事实幻觉:说“一般 3 到 5 个工作日到账”,但公司政策是 7 天;
- 引用幻觉:引用一条不存在的“退款政策第 12 条”;
- 执行幻觉:说“已为您提交加急”,但实际没有调用工单系统。
三种错误的修复完全不同:事实错误要接政策库,引用错误要绑定条款 ID,执行错误要查工单状态。把它们都归为“模型不准确”,团队就只会去换更大的模型,而真正的问题在证据链。
小结
- 幻觉至少分三类:事实、引用、执行;成因、证据和防线都不同。
- 事实幻觉靠检索与事实核查,引用幻觉靠来源与片段比对,执行幻觉靠工具状态与外部验证。
- 没有证据就无法判定幻觉;模型自评不是外部证据。
- 未接地率比笼统的“幻觉率”更可操作,但应按类型分别统计。
- 执行声明只能触发验证,不能作为完成依据。
- 无证据时应允许拒答;强制给答案会系统性推高幻觉。
阅读导航:上一节:7.3 测试时计算:何时更多 token 有用 · 下一节:8.2 校准与不确定性表达 。
常见错误与边界
- 把幻觉当单一问题。 事实、引用、执行需要不同防线;一个“少胡说”的提示词解决不了。
- 用模型自评检测幻觉。 自评依据仍是模型表示,不是外部证据。
- 只检查引用格式。 格式正确但来源不存在,仍是引用幻觉;要回查文档和片段。
- 相信执行声明。 “已完成”必须由工具状态或外部检查验证。
- 只报总幻觉率。 三类错误的阈值不同,混在一起会掩盖高风险类型。
- 不允许拒答。 强制给答案会推高编造概率;无证据时应明确不确定。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。