《AI Agent 技术原理与架构·模型、推理与能力边界》8.1 幻觉分类:事实、引用、执行

幻觉不是一个单一问题:事实说错、引用编造、执行结果谎报,需要完全不同的防线。本节把幻觉拆成事实、引用、执行三类,用最小审计实验演示分类与未接地率,并说明每一类应该绑定检索、引用核对还是外部验证,以及为什么执行声明必须由外部系统状态与调用记录确认。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

“模型幻觉”经常被当成一个统一的问题,于是解决方案也变成一个统一的愿望:“让模型少胡说”。但事实错误、引用编造和执行结果谎报,成因和防线完全不同。事实错误需要检索和事实核查;引用错误需要来源比对;执行错误需要工具状态和外部验证。用一种方法处理三类问题,通常三类都处理不好。

这一节先把幻觉拆开,再讨论每一类如何被检测、如何被度量,以及为什么“模型说自己完成了”不能作为完成证据。

三类幻觉

类型定义例子主要防线
事实幻觉陈述与可核实事实不符把某国首都说错检索、事实核查、拒答
引用幻觉引用不存在的来源或片段编造论文标题、链接来源比对、引用定位
执行幻觉声称执行了未执行或失败的动作说测试通过但实际失败工具状态、外部验证

三类幻觉的共同点是“输出与证据不一致”,区别在于证据在哪里。事实的证据是世界知识或数据库;引用的证据是原始文档;执行的证据是工具返回和系统状态。没有证据,就无法判定是不是幻觉,只能判定“听起来可不可信”。

这也解释了为什么单靠模型自评无法解决幻觉:模型的自评依据仍然是它自己的表示,而不是外部证据。要检测幻觉,必须引入模型之外的信号。

为什么“看起来对”不够

语言模型的目标是生成合理的续写,不是生成可验证的陈述。一个错误事实如果符合上下文风格,可能比一个正确但表达生硬的陈述更容易被生成。引用也是这样:模型可以生成格式完美、作者和年份都像真的、但根本不存在的文献。

执行幻觉更隐蔽,因为 Agent 的输出会进入后续决策。模型说“已经重启服务”,编排器可能就不再重试;模型说“测试通过”,审查者可能就跳过检查。错误不是停留在文本里,而是改变了系统行为。

引用幻觉的两种形态

引用幻觉可以再分成两种,防线不同:

形态表现防线
来源不存在编造论文、链接、条款号来源集合比对
来源存在但片段不匹配引用真实文档,内容却对不上片段定位与哈希

第一种容易发现:把引用的 ID 拿去查,查不到就是编造。第二种更隐蔽:文档是真的,标题是真的,甚至页码也是真的,但引用的那句话不在那里。只检查“引用是否存在”会漏掉这一类。

对 Agent 来说,第二种更危险,因为它看起来完全可信。防线应该要求引用绑定到具体片段(段落 ID、字符区间或哈希),并在生成后回查片段内容是否支持结论。只给文档 ID 不够。

最小实验:分类与未接地率

下面的实验给每条陈述标注“是否有支持”“引用是否存在”“执行是否成功”,然后按优先级分类。它不判断事实本身,只演示如何把不同证据缺失映射到不同类别。

# file: agp_lab/hallucination.py | write
# tier: 3
# verify: python3 -m unittest tests.test_hallucination
"""幻觉分类:事实不支持、引用不存在、执行结果不符。"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class Claim:
    text: str
    supported: bool
    citation: str | None
    executed: bool
    execution_ok: bool


SOURCES = {"doc#1", "doc#3"}


def classify(claim: Claim, sources: set[str] = SOURCES) -> str:
    if claim.citation is not None and claim.citation not in sources:
        return "citation"
    if claim.executed and not claim.execution_ok:
        return "execution"
    if not claim.supported:
        return "fact"
    return "grounded"


def audit(claims: list[Claim], sources: set[str] = SOURCES) -> dict[str, int]:
    result = {"grounded": 0, "fact": 0, "citation": 0, "execution": 0}
    for claim in claims:
        result[classify(claim, sources)] += 1
    return result


def ungrounded_rate(claims: list[Claim], sources: set[str] = SOURCES) -> float:
    if not claims:
        return 0.0
    return sum(1 for claim in claims if classify(claim, sources) != "grounded") / len(claims)


CLAIMS = [
    Claim("Paris is the capital of France", True, "doc#1", False, True),
    Claim("Berlin is the capital of France", False, "doc#1", False, True),
    Claim("The manual says X", True, "doc#9", False, True),
    Claim("Tests passed", True, None, True, False),
]

if __name__ == "__main__":
    for claim in CLAIMS:
        print(f"{classify(claim):<9} {claim.text}")
    print("audit:", audit(CLAIMS))
    print("ungrounded_rate:", f"{ungrounded_rate(CLAIMS):.1%}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.hallucination

输出:

grounded  Paris is the capital of France
fact      Berlin is the capital of France
citation  The manual says X
execution Tests passed
audit: {'grounded': 1, 'fact': 1, 'citation': 1, 'execution': 1}
ungrounded_rate: 75.0%

第一条有支持、引用存在、没有执行声明,判为 grounded。第二条事实不支持,判为 fact。第三条引用 doc#9 不在来源集合里,判为 citation;即使它的文本可能正确,引用不存在也使它不可审计。第四条声称执行了测试但执行失败,判为 execution。

分类有优先级:引用错误先于事实错误,执行错误先于事实错误。这是工程选择,不是逻辑必然。优先级应该反映“哪类错误更不可接受、哪类证据更容易获得”。对 Agent 来说,执行错误通常优先级最高,因为它直接改变系统状态。

ungrounded_rate: 75.0% 表示四条里三条没有接地。这个指标比“幻觉率”更可操作:它明确要求每条陈述绑定证据,而不是让评审者凭感觉判断。真实系统里,未接地率应该按类型分别统计,因为三类的可接受阈值不同。

执行幻觉的检测链

执行幻觉不能靠“再问模型一次”来检测,因为模型会给出同样的叙述。可靠的检测是一条外部链:

  1. 调用记录:工具有没有真的被调用,参数是什么;
  2. 返回状态:工具返回成功、失败还是超时;
  3. 系统状态:目标对象是否真的改变(文件是否存在、订单状态是否更新);
  4. 一致性检查:模型叙述与上述三项是否一致。

四步里,前两步来自工具层,第三步来自业务系统,第四步才是模型输出。任何一步缺失,执行声明都只能算“未经确认”。在自动化流程里,未经确认的完成声明应该被当作未完成处理。

分类如何绑定防线

类型检测信号防线失败时的动作
事实检索结果不支持引用核对、事实核查拒答或标注不确定
引用来源不存在/片段不匹配文档 ID + 片段哈希删除引用或重新检索
执行工具状态与声明不符外部验证、状态机回滚、重试、升级

三类防线不能互相替代。检索能降低事实幻觉,但不能阻止模型编造引用;引用核对能发现假引用,但不能验证执行;执行验证能确认动作,但不能保证事实陈述正确。一个可靠的 Agent 需要三层都有,而不是选一层做到极致。

评测集怎么设计

幻觉评测不能只收集“答错的样本”,要按类型分层:

层样本目的
有证据且正确检索支持答案测正常路径
无证据知识库没有答案测拒答
假引用引用不存在的来源测引用核对
执行失败工具返回错误测执行验证
执行成功但叙述错工具成功、模型说失败测一致性

第三、四、五层最容易被忽略,因为它们需要构造负样本。只测第一层,系统会显得很好;上线后遇到无证据或工具失败,才会暴露问题。

评测还应该记录“错误的严重度”。同样一条幻觉,说错一个无关事实和谎报转账成功,后果完全不同;把所有错误算成一个比率,会掩盖高风险类型。

幻觉、错误与不确定性的区别

三个概念经常被混用,但处理方式不同:

概念含义处理
幻觉输出与证据不符,且模型没有依据补证据、核对、拒答
错误输出与事实不符,但有依据(依据本身错)修数据源、换检索
不确定模型知道自己不知道澄清、拒答、升级

区分它们有实际意义。如果错误来自过时文档,换更大的模型不会解决;如果模型只是不确定,强制它给答案反而会制造幻觉。把三类问题分开统计,才能把资源投到正确的地方。

一个常见的误判是把“有依据但依据错”算成幻觉,然后去调提示词。真正要修的是知识源。另一个误判是把“不确定”当成“不会”,于是不断加长提示,结果模型更自信地编造。

分类统计的意义就在这里:它让团队知道该修知识源、修提示,还是修拒答路径。

架构含义

幻觉分类对架构有四个直接约束:

  1. 每条关键陈述要有证据绑定。 事实绑来源,引用绑片段,执行绑工具状态。
  2. 分类统计,不报单一幻觉率。 三类错误的阈值和修复方式不同。
  3. 执行声明必须外部验证。 模型说完成只触发验证,不作为完成依据。
  4. 无法接地时要允许拒答。 没有证据时,明确说“不知道”比编一个答案更安全。

第 4 条需要产品层面的支持。很多界面不鼓励“不知道”,模型于是倾向于给一个看起来有用的答案。要降低幻觉,必须让拒答成为一个被允许、被正确展示的结果。

架构判据

判据合格的样子不合格的样子
证据可追溯每条关键陈述有来源/片段/状态只有自然语言结论
分类可统计事实、引用、执行分开报表一个“幻觉率”
引用可核对文档 ID 与片段能回查只检查链接格式
执行可验证工具状态与声明比对相信模型自述
拒答有路径无证据时明确不确定强制给出答案

这些判据里,“执行可验证”是 Agent 特有的底线。聊天机器人的错误陈述主要影响人;Agent 的错误声明会触发自动化决策,影响面更大。

一个客服 Agent 的例子

用户问“我的退款到账了吗”。模型可能:

  • 事实幻觉:说“一般 3 到 5 个工作日到账”,但公司政策是 7 天;
  • 引用幻觉:引用一条不存在的“退款政策第 12 条”;
  • 执行幻觉:说“已为您提交加急”,但实际没有调用工单系统。

三种错误的修复完全不同:事实错误要接政策库,引用错误要绑定条款 ID,执行错误要查工单状态。把它们都归为“模型不准确”,团队就只会去换更大的模型,而真正的问题在证据链。

小结

  • 幻觉至少分三类:事实、引用、执行;成因、证据和防线都不同。
  • 事实幻觉靠检索与事实核查,引用幻觉靠来源与片段比对,执行幻觉靠工具状态与外部验证。
  • 没有证据就无法判定幻觉;模型自评不是外部证据。
  • 未接地率比笼统的“幻觉率”更可操作,但应按类型分别统计。
  • 执行声明只能触发验证,不能作为完成依据。
  • 无证据时应允许拒答;强制给答案会系统性推高幻觉。

阅读导航:上一节:7.3 测试时计算:何时更多 token 有用 · 下一节:8.2 校准与不确定性表达 。

常见错误与边界

  1. 把幻觉当单一问题。 事实、引用、执行需要不同防线;一个“少胡说”的提示词解决不了。
  2. 用模型自评检测幻觉。 自评依据仍是模型表示,不是外部证据。
  3. 只检查引用格式。 格式正确但来源不存在,仍是引用幻觉;要回查文档和片段。
  4. 相信执行声明。 “已完成”必须由工具状态或外部检查验证。
  5. 只报总幻觉率。 三类错误的阈值不同,混在一起会掩盖高风险类型。
  6. 不允许拒答。 强制给答案会推高编造概率;无证据时应明确不确定。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图