《AI Agent 产品开发·交互、信任与上线》5.1 来源可追溯:结论是从哪来的

本节回答 Agent 的结论能否追到具体输入。给出引用、片段、定位三层溯源要求,用 A Relay 的分诊字段说明一条弱链如何让整条建议失去对外沟通资格,并附可运行的溯源评级模型、外部可用判定、三案例的溯源粒度对照,以及把对外门槛写成布尔函数的做法。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

用户问「为什么把它分到登录队列」,产品回答「模型判断的」。这句话在内部试用时也许能过关,一旦进入客户沟通、SLA 争议或审计,它就等于没有回答。来源可追溯要解决的不是解释得好不好听,而是结论能不能落到一条具体的输入上:哪份材料、哪一句原文、哪个字段或哪一行。

这一节给出三个层次的溯源要求,用 A Relay 的分诊依据走一遍,再说明为什么无溯源的结论不能用于对外沟通。最后把要求写成一个可运行的评级函数,方便在评审时直接对照。

为什么「模型说的」不算来源

模型不是来源,模型是加工过程。就像财务报表不会把「会计算的」写进附注,Agent 的输出也不能把推理主体当成证据。来源必须是模型之外、可以被第三方复核的东西:工单正文、客户合同、数据包条目、规则编号、执行前快照。

这里有一个常见误解:只要输出里带了「根据工单内容」这样的前缀,就算有来源。实际上这只说明它看过某类材料,没有说明看的是哪一单、哪一段、哪个字段。真正的溯源要能回答三个递进的问题:

  1. 这条结论引用了哪份来源?
  2. 来源里的哪一句支持这条结论?
  3. 这句话在来源的哪个位置,能不能被重新打开核对?

三个问题对应三个层次,缺一层就降一级。

溯源的三层:引用、片段、定位

层次回答的问题最小要求缺失后的后果
引用 citation哪份来源来源 id 或文件名无法判断结论有没有依据
片段 snippet哪一句支持结论可复读的原文片段只能相信转述,无法核对语义
定位 locator在来源的哪里字段名、行号或条目路径无法重新打开原文,争议时无法自证

引用是最低门槛。没有来源 id,后面两层无从谈起。很多产品把「参考了知识库」当成引用,但知识库是一个集合,不是一个来源;必须落到具体文档或具体记录。

片段解决「断章取义」。只给文档名,读者仍然不知道结论对应哪句话。片段要能被单独复读,并且读完之后能自然推出结论。如果片段需要大量背景才能理解,说明片段选得太短,或者结论本身超出了片段支持的范围。

定位解决「可复核」。片段可能是模型改写过的,定位让第三方能回到原文确认。定位可以是字段路径、行号、段落编号或数据包条目 id。对结构化数据,字段路径最稳;对长文档,段落编号加行号更实用。

三层不是三种可选风格,而是一条链:引用指向来源,片段指向语义,定位指向位置。任何一层断了,链条就断在那里。

用 A Relay 的分诊依据走一遍

A Relay(Northwind 的客服工单分诊 Agent)每给一条建议,要带 3 条输入字段。教学设定里,这三条通常覆盖:工单正文中的问题描述、客户账号的套餐信息、历史工单中的同类处理记录。它们分别回答「用户说了什么」「这个客户是谁」「以前怎么处理」。

建议要素引用片段定位
队列:登录该工单正文「SSO 变更后无法登录」body.issue_summary
优先级:P2账号记录「Enterprise,9 个席位」account.plan
模板:T-14同类历史工单「重置 SSO 绑定后恢复」history.same-issue.resolution

假设队列和优先级都有完整三层,模板只有引用、没有片段和定位。整条建议还能不能用?内部参考可以,对外沟通不行。因为客户追问「为什么推荐这个模板」时,团队只能回答「系统选的」,无法指出历史工单里的哪句话支持这个选择。

这就是「弱链」效应:一条建议的可追溯性由最弱的那条来源决定。三条来源里两条完整、一条空白,整体仍然是「片段级」甚至「引用级」。产品评审时不要看平均质量,要看最差的那条。

A 的采纳率是 78%,分诊正确率 91.4%,采纳后仍出错率 2.9%。这三个数字说明大多数建议能被接受,但也说明每 100 条里仍有若干条需要人改。修改动作本身依赖依据:人要知道改哪一条、为什么改。没有片段和定位,确认就退化成盲签。

无溯源的结论不能用于对外沟通

对外沟通包括客户回复、SLA 说明、审计答复、争议处理。这些场景的共同点是:说出去的话要能被第三方复核。内部试用可以容忍「模型说的」,因为这些场景里错了可以当场改;对外沟通不行,错了会留下记录。

可以按用途划一条硬线:

用途最低溯源级别理由
内部草稿、个人参考引用使用者自己知道上下文
团队评审、交接片段接手的人要能理解依据
客户回复、SLA 说明定位第三方要能复核原文
审计、投诉、争议定位需要完整链路和可重放记录

这条线和自主档无关。A 是建议档,不等于它的溯源要求低;恰恰因为人在决策链上,人需要依据来判断要不要采纳。C 是执行档,每个动作要指向规则与快照,溯源要求只会更高。

反过来,无溯源的结论也不是完全不能用。它可以作为探索、头脑风暴、内部提醒,但不能进入任何会被引用、转发、归档的通道。产品设计上要把这条边界做成硬约束,而不是靠使用者自觉。

来源、依据、解释三个词不要混用

产品讨论里这三个词经常被当成同义词,但它们回答的问题不同。混用会导致需求写不清,验收时也无法判断做没做到。

词回答的问题典型载体缺失后的表现
来源信息从哪来文档 id、记录号、数据包条目无法判断有没有依据
依据哪一句支持这个结论原文片段、字段值、规则文本只能相信转述
解释为什么这样判断判断逻辑、步骤、取舍用户知道出处但不懂推理

来源是「在哪」,依据是「凭什么」,解释是「怎么想到的」。三层溯源解决前两个,解释层解决第三个。很多团队把三者压成一句「系统显示了来源」,结果用户点开只看到文档标题,既没有片段也没有判断逻辑,信任并没有建立。

区分的实际价值在于排期。补来源是数据接入问题,补片段是检索与引用问题,补解释是交互与表述问题。三件事的责任人、工作量、验收标准都不同,混在一个需求里,最后往往只做了最容易的那层。

对外沟通的最低要求是「来源 + 依据」都齐,也就是本节的定位级;解释可以分层给,下一节会说明哪些场景必须给到完整链路。

把溯源要求写成评级函数

下面这个模型把三层做成评级:单条来源从 none 到 locator 四级,整条记录取最弱来源的级别,只有 locator 才允许对外沟通。三案例的粒度也写在同一个文件里,评审时可以直接对照。

// file: src/trust/05-1-provenance.ts
// tier: L2
// verify: node --test test/trust/05-1-provenance.test.ts

// 溯源的三层:引用、片段、定位。三层齐备才允许对外沟通。
// 案例口径来自事实表第九节:A 每建议 3 条输入字段,B 每段指向数据包条目,
// C 每动作指向规则与快照。

export type ProvenanceLayer = "citation" | "snippet" | "locator";

export const LAYER_ORDER: readonly ProvenanceLayer[] = [
  "citation",
  "snippet",
  "locator",
];

export type SourceRef = {
  readonly sourceId: string;
  readonly snippet: string;
  readonly locator: string;
};

export type TraceGrade = "none" | "citation-only" | "snippet" | "locator";

const GRADE_RANK: Record<TraceGrade, number> = {
  none: 0,
  "citation-only": 1,
  snippet: 2,
  locator: 3,
};

export function gradeSource(ref: SourceRef): TraceGrade {
  const hasCitation = ref.sourceId.trim().length > 0;
  const hasSnippet = ref.snippet.trim().length > 0;
  const hasLocator = ref.locator.trim().length > 0;
  if (hasCitation && hasSnippet && hasLocator) return "locator";
  if (hasCitation && hasSnippet) return "snippet";
  if (hasCitation) return "citation-only";
  return "none";
}

export function missingLayers(ref: SourceRef): ProvenanceLayer[] {
  const missing: ProvenanceLayer[] = [];
  if (ref.sourceId.trim().length === 0) missing.push("citation");
  if (ref.snippet.trim().length === 0) missing.push("snippet");
  if (ref.locator.trim().length === 0) missing.push("locator");
  return missing;
}

export type ProvenanceRecord = {
  readonly suggestionId: string;
  readonly claim: string;
  readonly sources: readonly SourceRef[];
};

// 一条记录的可追溯性取最弱的一条来源:
// 一条完整来源掩盖不了另一条来源的空白。
export function gradeRecord(record: ProvenanceRecord): TraceGrade {
  if (record.sources.length === 0) return "none";
  return record.sources.reduce<TraceGrade>((worst, ref) => {
    const grade = gradeSource(ref);
    return GRADE_RANK[grade] < GRADE_RANK[worst] ? grade : worst;
  }, "locator");
}

export function canCommunicateExternally(record: ProvenanceRecord): boolean {
  return gradeRecord(record) === "locator";
}

export type CaseTrace = {
  readonly granularity: string;
  readonly note: string;
};

// 三案例的溯源粒度不同,但要求相同:结论必须能落到具体输入。
export const CASE_TRACE: Record<"A" | "B" | "C", CaseTrace> = {
  A: {
    granularity: "3 input fields per suggestion",
    note: "每个队列、优先级与模板编号都能回到工单字段",
  },
  B: {
    granularity: "one data pack item per section",
    note: "每一段都指向数据包中的条目",
  },
  C: {
    granularity: "rule id and snapshot per action",
    note: "每个动作都指向规则与执行前快照",
  },
};

gradeSource 只评一条来源:有引用算一级,有片段升二级,有定位才是三级。gradeRecord 用 reduce 取最弱的一条,避免「一条完整来源掩盖另一条空白」。canCommunicateExternally 把对外沟通的硬线写成一个布尔值,调用方不需要自己在界面里拼条件。

把 A 的三条来源代入:如果三条都完整,整条记录是 locator,可以对外;只要一条缺定位,整条记录降到 snippet,对外通道就应该关闭。这里没有「部分可用」的中间态,因为对外沟通不会只引用那条完整来源,它会引用整条建议。

三案例的溯源粒度

案例粒度具体指向
A Relay每建议 3 条输入字段工单字段、账号字段、历史处理记录
B Quill每段指向数据包条目报告段落对应数据包中的具体条目
C Runner每动作指向规则与快照动作对应规则 id 与执行前后快照

B 的产出是 12–20 页草稿,人审改要 1.6 小时。审改的主要工作不是重写,而是核对:这一段的数据对不对、那个结论有没有依据。如果每段不能直接跳到数据包条目,审改时间会被搜索和确认吃掉,1.6 小时的基线就守不住。

C 的产出是动作,审计抽检比例 8%,单次复核 12 分钟。复核的人要在 12 分钟里判断一个动作对不对,靠的就是规则 id、执行前快照和执行后快照。没有这三样,抽检只能看结果,不能判断过程。

落地时的三个检查点

第一,来源 id 必须可解析。写「工单系统」不算引用,写具体工单号才算。第二,片段必须可独立复读。把整段工单贴进去不算片段,选中支持结论的那一两句才算。第三,定位必须可重新打开。只写字段名还不够,要能被系统解析成一次查询。

这三个检查点可以做成发布前的自动校验:任何一条对外建议,只要 canCommunicateExternally 为 false,就不允许进入客户回复通道。规则简单,但能挡住绝大多数「模型说的」式回答。

自动校验要放在生成之后、进入通道之前,而不是等人工发现。生成侧可以宽松,允许模型给出不完整草稿;通道侧必须严格,任何缺层记录都被拦下。两侧共用一个评级函数,避免「界面显示已溯源、后台其实缺定位」的口径分裂。

拦截之后还要给人一条补救路径:提示缺的是引用、片段还是定位,并允许人工补录。只拦截不补救,团队会绕过校验;给了补救入口,缺层记录才有机会被修好,评级函数也才有持续的数据可看。

溯源做扎实之后,用户仍然可能追问「为什么这样判断」。来源和依据回答「在哪、凭什么」,解释回答「怎么想到的」,这是下一节的主题。

小结

  • 模型不是来源,来源必须是模型之外、可被第三方复核的材料。
  • 溯源分三层:引用说明哪份来源,片段说明哪一句支持结论,定位说明在来源的哪里。
  • 三层是一条链,任何一层断了,链条就断在那里,不存在「部分可用」的对外结论。
  • 一条记录的可追溯性由最弱来源决定,平均质量没有意义。
  • A Relay 每条建议带 3 条输入字段,分别回答用户说了什么、客户是谁、以前怎么处理。
  • 无溯源的结论可以用于内部探索,不能进入客户回复、SLA 说明、审计答复和争议处理。
  • 自主档与溯源要求无关:越是执行档,越需要规则 id 和快照。
  • 把对外门槛写成一个布尔函数,比在界面里靠人自觉可靠。

阅读导航:上一节:4.3 授权与转授权 · 下一节:5.2 解释的三个层次 。

常见错误与边界

  1. 把「根据工单内容」当引用。 这只说明看过某类材料,没有落到具体记录;引用必须是可解析的来源 id。
  2. 只给文档名不给片段。 文档名回答「哪份」,不回答「哪一句」;读者仍然无法判断结论是否被原文支持。
  3. 用模型改写代替原文片段。 改写过的片段无法复核语义,必须保留可独立复读的原文。
  4. 用平均分掩盖弱链。 三条来源两条完整、一条空白,整条记录仍然不可对外;评级要看最差的一条。
  5. 把溯源当成解释。 溯源回答「依据在哪」,解释回答「为什么这样判断」;两者不能互相替代,下一节会展开解释的层次。
  6. 在建议档放松溯源。 A 的人在决策链上,恰恰更需要依据;没有依据的确认只是盲签。

这一节回答「结论从哪来」。下一节要回答另一个问题:同样一条结论,什么时候给一句话,什么时候必须给完整链路。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图