《AI Agent 产品开发·交互、信任与上线》2.3 不透明的代价

不透明不会让用户停止判断,只会让用户用「它是不是在乱来」来填补空白。本节给出反复确认、弃用、投诉三种后果,用 B Quill 的 11 分钟生成过程做例子,并把修正负载算出来:A 每月 5,808 单被修改、B 约 55 份返工、C 2,904 个任务转人工;最后给出透明度的成本上限。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

用户看不到过程时,不会停止判断。他们会用自己能理解的东西填补空白:它是不是漏了、它是不是在乱来、它是不是在等我背锅。空白越大,填补越费力;填补成本超过 Agent 节省的时间,产品就会被绕过。

这一节把不透明的代价拆成三种后果:反复确认、弃用、投诉。然后用 B Quill 的生成过程做例子,说明不透明如何改变审改时间的用途,最后给出一个容易被忽视的约束:透明度本身也有成本,必须有上限。

空白会被三种行为填满

不透明的第一反应不是投诉,而是用户自己动手补信息。三种行为按出现顺序排列,也按严重程度排列。

后果用户在想什么产品看到什么真实成本
反复确认它是不是漏了什么同一任务被重复打开、重复检查人工耗时回升,节省被抵消
弃用还不如我自己做入口点击率下降,回到旧流程采用率下降,试点数据失真
投诉它是不是在乱来跳过产品直接找负责人支持成本上升,信任一次性透支

反复确认是最早出现的信号。用户不敢直接采纳,就把 Agent 已经做过的事再做一遍:重新查一遍库存、重新核对一遍数字、重新读一遍来源。这个动作在产品数据里不一定可见,因为它发生在用户自己的操作里;但它会直接推高人工耗时。

弃用是第二个信号。用户发现反复确认的成本太高,干脆不打开入口,回到原来的流程。产品看到的可能是「活跃度下降」,但真实原因是「信任不足」。这时候如果只做拉活,会进一步伤害信任。

投诉是最后一个信号。用户不再试图理解产品,直接找负责人或客服。投诉的代价不只是处理成本,还有信任的一次性透支:即使用户后来回到产品,也会带着「它出过事」的记忆。

三种行为的共同点是:用户在用额外动作填补信息空白。空白不是「用户不知道」,而是「用户无法判断」。前者可以靠文档解决,后者只能靠可见性和可追溯解决。

B Quill:11 分钟里用户在猜什么

B Quill 的机器生成耗时是 11 分钟,产出是 12–20 页的报告初稿。月报告量 606 份,人工基线 4.20 小时一份,Agent 介入后人工审改 1.6 小时。

11 分钟里,用户如果只看到一个转圈,会开始猜:它读到数据包了吗?它用的是上月模板吗?它有没有把客户名称写错?这些猜测不会停留在脑子里,它们会变成审改时的额外检查。

B 的审改时长是 1.6 小时,这是加权后的结果:一次采纳 63.0%、审改 1.25 小时;小改 28.0%、审改 1.95 小时;返工 9.0%、审改 3.00 小时。三个数字加权正好是 1.6035 小时,约 1.6 小时。

不透明不会改变这 1.6 小时的总预算,但它会改变预算的用途。透明的时候,审改时间花在判断上:这一节结论对不对、这个数字合不合理、这段措辞能不能给客户看。不透明的时候,审改时间先花在寻找上:这一节用了哪个数据、这个数字从哪来、这份模板是不是最新的。寻找花掉的时间,就是从判断里扣掉的时间。

B 的事实错误率是 4.6%,审改时发现。如果每一节都标了来源和事实核查清单,4.6% 的错误可以在 1.6 小时里被定位;如果没有,用户只能通读全文去找,审改时间会被拉长,或者错误被漏掉。漏掉的错误不会消失,它会在客户那里出现。

修正负载可以算出来

不透明的代价可以用事实表里的修正比率算出来。它不是新增成本,而是把原本分散在确认和审改里的时间显性化。

案例修正比率月任务量月修正负载说明
A Relay22.0% 被修改26,400 单5,808 单修改耗时已含在 0.75 分钟里
B Quill9.0% 返工606 份54.54,取整 55 份返工耗时已含在 1.6 小时里
C Runner22.0% 转人工13,200 个2,904 个3.08 分钟必须计入 4.04 分钟

A 的 22.0% 建议被人修改,按 26,400 单算是 5,808 单。这 5,808 单的修改时间不是额外成本,它已经包含在 0.75 分钟的加权确认里:采纳 32 秒、不采纳 91 秒,按 78.0% 和 22.0% 加权是 45 秒。不透明会让用户把「修改」变成「重查」,比例不变,单次时长上升。

B 的 9.0% 返工,按 606 份算是 54.54 份,取整 55 份。返工的定义是改动超过 50%,它的审改时长是 3.00 小时,已经包含在 1.6 小时的加权里。不透明会让返工比例上升,或者让返工在审改时没被发现,流到客户那里。

C 的 22.0% 转人工,按 13,200 个算是 2,904 个。转人工平均 14 分钟,折合 3.08 分钟/任务;这 3.08 分钟必须和审计的 0.96 分钟一起算,才是 4.04 分钟。只算审计不算转人工,C 的人工账会从 4.04 分钟错成 0.96 分钟,节省率也会从 73.7% 被夸大。

这三个数字放在一起看,会发现一个规律:修正负载越大的案例,越需要可见性。A 的修正比例 22.0%,所以每条建议要给三条输入字段;B 的返工比例 9.0%,所以每节要给来源和事实核查;C 的转人工比例 22.0%,所以每个动作要给前后值和回滚句柄。可见性不是统一标准,它跟着修正负载走。

透明度必须有成本上限

透明度不是免费的。解释、来源、回放、审计视图都要人做,用户也要花时间读。如果不设上限,透明度会变成新的成本中心:产品不断加信息,用户不断被淹没,人工时间不降反升。

上限应该设在哪里?答案是人工分钟预算。A 的人工是 0.75 分钟/单,B 是 96 分钟/份,C 是 4.04 分钟/任务。透明度带来的阅读、核对、展开,必须落在这些分钟里,不能另开一笔「解释成本」。

案例人工预算透明度可以花在哪不能花在哪
A Relay0.75 分钟/单看结论、看三条依据、采纳或修改读完整推理链、逐条核对检索结果
B Quill96 分钟/份看结论、追来源、核对高风险事实通读全部原始数据、逐段看生成日志
C Runner4.04 分钟/任务审计动作、看前后值、决定是否回滚回放每一步内部调用、读原始日志

如果透明度成本超过人工预算,正确的做法不是加人,而是降一级可见性。A 如果每条建议都要读完整推理链,0.75 分钟不够,应该把推理链收进「可看」,只保留结论和三条依据。B 如果每份报告都要通读原始数据,96 分钟不够,应该把原始数据收进「可看」,只保留高风险事实的来源。C 如果每个动作都要回放内部调用,4.04 分钟不够,应该把内部调用收进日志,只保留前后值和回滚句柄。

判断透明度是否超预算,可以用一个更简单的问法:用户回答「这一步对不对」所需的时间,是否挤掉了「接下来怎么改」的时间。如果挤掉了,说明信息层级给错了,不是用户不认真。

情况表现处理
信息不足用户反复确认、重开任务升一级可见性
信息过载用户只看结论、跳过依据降一级可见性
层级错位结论在日志里、内部调用在主界面重排层级,不加减数量

三种情况的修法不同。信息不足要补,信息过载要减,层级错位要重排;把层级错位当成信息不足,会越加越乱。

降可见性不是隐瞒,而是把信息放到正确的层级。用户需要的是「能判断」,不是「全知道」。全知道会把判断责任推回给用户,反而降低效率。

把代价写成函数

下面的模型把三种后果、三案例的修正负载和透明度预算写在一起。它不计算新增成本,只用事实表里的比率复算修正负载。

// file: src/trust/02-3-cost-of-opacity.ts
// tier: L2
// verify: node --test test/trust/02-3-cost-of-opacity.test.ts

// 不透明的代价:用户会用「它是不是在乱来」填补空白。
// 三种后果:反复确认、弃用、投诉。这里用事实表里的比率算修正负载。

import { applyRate, formatBps } from "../core/rate.ts";
import { byKey } from "../cases.ts";

export type Consequence = "recheck" | "abandon" | "complaint";

export type Symptom = {
  readonly consequence: Consequence;
  readonly signal: string;
  readonly cost: string;
};

export const SYMPTOMS: readonly Symptom[] = [
  {
    consequence: "recheck",
    signal: "用户把 Agent 已经做过的事再做一遍",
    cost: "人工耗时回升,节省被抵消",
  },
  {
    consequence: "abandon",
    signal: "用户不再打开入口,回到原来的流程",
    cost: "采用率下降,试点数据失真",
  },
  {
    consequence: "complaint",
    signal: "用户跳过产品直接找负责人",
    cost: "支持成本上升,信任一次性透支",
  },
];

export type CorrectionLoad = {
  readonly key: "A" | "B" | "C";
  readonly autonomy: string;
  readonly correctionRate: string;
  readonly correctionTasks: number;
  readonly humanMinutes: number;
  readonly note: string;
};

// 修正负载来自事实表:A 22.0% 被修改,B 9.0% 返工,C 22.0% 转人工。
export function correctionLoad(key: "A" | "B" | "C"): CorrectionLoad {
  const profile = byKey(key);
  if (key === "A") {
    return {
      key,
      autonomy: profile.autonomy,
      correctionRate: formatBps(2200),
      correctionTasks: applyRate(profile.monthlyTasks, 2200),
      humanMinutes: profile.humanMinutes,
      note: "22.0% 的建议被人修改,修改耗时已含在 0.75 分钟里",
    };
  }
  if (key === "B") {
    return {
      key,
      autonomy: profile.autonomy,
      correctionRate: formatBps(900),
      correctionTasks: applyRate(profile.monthlyTasks, 900),
      humanMinutes: profile.humanMinutes,
      note: "9.0% 的报告需要返工,返工耗时已含在 1.6 小时里",
    };
  }
  return {
    key,
    autonomy: profile.autonomy,
    correctionRate: formatBps(2200),
    correctionTasks: applyRate(profile.monthlyTasks, 2200),
    humanMinutes: profile.humanMinutes,
    note: "22.0% 转人工,3.08 分钟必须计入 4.04 分钟",
  };
}

// 透明度预算:解释与核对的时间必须落在人工分钟里,不能另开一笔。
export function withinHumanBudget(
  explanationMinutes: number,
  humanMinutes: number,
): boolean {
  return explanationMinutes <= humanMinutes;
}

export type ResidualError = {
  readonly errorRate: string;
  readonly irreversibleRate: string | null;
};

export function residualError(key: "A" | "B" | "C"): ResidualError {
  if (key === "A") return { errorRate: formatBps(290), irreversibleRate: null };
  if (key === "B") return { errorRate: formatBps(460), irreversibleRate: null };
  return { errorRate: formatBps(170), irreversibleRate: "0.238%" };
}

// C 的错误里 86.0% 可回滚,剩下 14.0% 只能补偿。
export function nonRollbackShare(): string {
  return formatBps(1400);
}

correctionLoad 只做一件事:把事实表里的修正比率乘上月任务量,得到每个月的修正负载。它不新增假设,也不把修正说成额外成本;三项修正时间都已经包含在人工分钟里,函数只是把它们显性化。

withinHumanBudget 是透明度上限的判据。解释和核对的时间可以花,但必须落在 0.75 分钟、96 分钟或 4.04 分钟里;超了就要降可见性,而不是加人。这个判断看起来简单,却能把「多做一点透明度总是好的」这种直觉挡在门外。

residualError 把三案例的错误率写在一起:A 2.9%、B 4.6%、C 1.7%,C 还有 0.238% 的不可回滚错误。不透明不会改变错误率,但它会改变错误被发现的时间;发现得越晚,可回滚的比例越低,补偿成本越高。

三种后果的早期信号

三种后果都有早期信号,产品应该在投诉之前捕获它们。

后果早期信号该看什么指标不该做什么
反复确认同一任务被反复打开任务重开率、确认时长分布只优化按钮,不补信息
弃用入口点击率下降周活跃使用率、回到旧流程比例用推送拉活,不解决信任
投诉跳过产品找负责人绕过率、支持工单关键词把投诉当个案,不做结构分析

反复确认的信号最容易漏,因为它发生在用户自己的操作里,不一定进产品埋点。可以在确认环节加一个「你为什么修改」的轻量选项,或者观察同一工单在短时间内的重复打开。弃用的信号容易被误读为「用户不需要」,实际可能是「用户不信」。投诉的信号最强烈,但也最滞后,等到投诉出现,信任已经透支。

三种信号对应三种修法:反复确认补信息,弃用补信任,投诉补责任。补信息是加可见性,补信任是给可回滚和补偿,补责任是明确谁在什么情况下兜底。三者不能互相替代。

小结

  • 不透明不会让用户停止判断,只会让用户用「它是不是在乱来」填补空白。
  • 三种后果按顺序出现:反复确认、弃用、投诉;越往后,修复成本越高。
  • B Quill 的 1.6 小时审改预算不会因为不透明而消失,但会从判断变成寻找。
  • 修正负载可以复算:A 每月 5,808 单被修改,B 约 55 份返工,C 2,904 个任务转人工。
  • 修正负载越大的案例,越需要可见性;可见性标准跟着修正负载走,不跟界面风格走。
  • 透明度必须有成本上限:解释和核对要落在 0.75 分钟、96 分钟或 4.04 分钟里。
  • 超过预算时,正确做法是降一级可见性,不是加人;用户需要「能判断」,不是「全知道」。

阅读导航:上一节:2.2 进度、步骤、日志三种呈现 · 下一节:3.1 可打断点设计 。

常见错误与边界

  1. 把不透明当成「用户不看过程」。 用户不看,往往是因为看不懂或看不到;空白会被猜测填满,猜测会变成额外检查。
  2. 只用投诉衡量代价。 反复确认和弃用出现得更早,也更隐蔽;等到投诉才处理,信任已经透支。
  3. 把修正负载算成新增成本。 A 的修改、B 的返工、C 的转人工都已经含在人工分钟里;重复计入会把成本算两遍。
  4. 只算审计不算转人工。 C 的 0.96 分钟是审计,3.08 分钟是转人工;只写 0.96 会把 4.04 分钟做小。
  5. 认为透明度越高越好。 透明度要花人工预算;超过 0.75 分钟、96 分钟或 4.04 分钟,就应该降可见性,而不是加人。
  6. 把降可见性当成隐瞒。 降的是信息层级,不是责任;结论、依据和回滚句柄仍然要在,只是内部调用退回日志。

第 2 章到这里结束。下一章进入可控性:用户不仅要看见过程,还要能在关键点停下来、在运行中纠偏、在事后撤销。第 3 章从可打断点开始。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图