以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
产品介绍页喜欢写「智能判断」「精准推荐」,但用户真正需要知道的是:这一次的判断有多可靠,什么时候应该自己看一眼。能力边界表达不是给产品泼冷水,而是把「什么时候可以信」提前说清楚,减少错误信任和错误怀疑。
这一节的判断是:说「不确定」比说「我认为」更有用。「我认为」把不确定包装成观点,用户无法据此行动;「不确定,因为缺少某个字段」给出了原因和下一步。诚实不是态度问题,而是信息设计问题。
三档不确定性表达
不确定性至少分三档,每档有独立的说法和动作。三档不是给用户贴标签,而是给结论标可靠度。
| 档位 | 含义 | 说法 | 是否需复核 | 是否转人工 |
|---|---|---|---|---|
| 确定 | 依据充分,结论稳定 | 直接陈述结论与来源 | 否 | 否 |
| 较可能 | 依据基本支持,但存在歧义 | 陈述结论,提示核对某个字段 | 是 | 否 |
| 不确定 | 依据不足或相互冲突 | 说明无法判断,建议人决定 | 是 | 是 |
确定不是「模型很有信心」,而是「结论能被来源完整支持」。表达上可以直接给结论,但仍然要附来源;确定性不取消溯源要求。
较可能是大多数 Agent 输出的真实状态:方向对,但某个字段可能有歧义。说法要指出具体要核对什么,而不是笼统地说「请人工确认」。笼统的提示会被忽略,具体的提示才会被行动。
不确定要明确说「无法判断」,并说明缺什么。它不应该输出一个看起来合理的猜测再附一句「仅供参考」。猜测加免责声明,实际效果是用户记住了猜测、忽略了声明。
三档之间不是概率的连续刻度,而是三种不同的行动建议。确定可以直接用,较可能要核一下,不确定要换人。表达的第一目标是让用户知道该采取哪种行动。
阈值从 A Relay 的口径来
阈值不能拍脑袋。A Relay 的教学设定给了三个可直接使用的数:分诊正确率 91.4%,建议采纳率 78%,采纳后仍出错率 2.9%。
| 指标 | 数值 | 在表达里的作用 |
|---|---|---|
| 分诊正确率 | 91.4% | 确定档的下界 |
| 建议采纳率 | 78% | 较可能档的下界 |
| 采纳后仍出错率 | 2.9% | 过度自信的风险量级 |
确定的门槛设在 91.4%,含义是「达到历史正确率水平才直接陈述」。较可能的门槛设在 78%,含义是「低于历史采纳率,人就很可能要改」。低于 78% 进入不确定档,建议转人工。
这套阈值不是统计学上的最优分割,而是把产品已有的质量口径翻译成界面语言。好处是团队不需要另造一套信心分数,评审时可以直接问:这个阈值和我们的正确率、采纳率是什么关系?
阈值也要随质量变化调整。如果某类工单的正确率长期低于整体,应该单独设阈值,而不是让所有工单共用一条线。A 的 91.4% 是整体口径,不代表每个队列都一样。
过度自信的代价
过度自信的代价可以用 A 的 78% 采纳率直接算:22% 的建议会被人修改。如果把一条本该进入「不确定」的建议说成「确定」,这 22% 的修改就会从「预期内」变成「意外」,用户会觉得系统在误导。
更严重的是采纳后仍出错率 2.9%。这部分错误已经通过了人的确认,仍然发生。如果系统还把低置信结论包装成确定,人会更倾向于快速确认,2.9% 会被放大。确认时长也说明了这一点:采纳时平均 32 秒,修改时平均 91 秒,加权后约 45 秒,也就是 0.75 分钟。表达越自信,人越容易走 32 秒的快路径。
| 表达方式 | 人的动作 | 风险 |
|---|---|---|
| 确定 | 快速确认 | 低置信结论被放过 |
| 较可能 | 核对指定字段 | 可控 |
| 不确定 | 转人工或补输入 | 成本上升,但错误不外溢 |
过度自信还会污染反馈数据。用户因为被误导而采纳了错误建议,系统会把这次采纳记成正样本,下一轮更容易重复同类错误。诚实表达不只是体验问题,也是数据质量问题。
反过来,过度谨慎也有代价。如果所有结论都说「不确定」,用户会停止使用,转人工率上升,A 的 0.75 分钟人工基线也守不住。三档的意义是让不确定的归不确定,确定的归确定,而不是把所有输出都降级。
A 的低置信工单走一遍
假设一张工单只写了「登录有问题」,没有账号信息,没有错误截图,历史工单也查不到同类记录。系统仍然可以给出一个队列建议,但依据明显不足。
这时的正确表达不是「建议分到登录队列」,而是「无法确定队列:缺少账号信息和错误描述,建议补充后再分诊,或转人工」。前一句看起来更有用,实际上把判断责任推给了用户;后一句承认边界,并给出补输入或转人工两条路径。
如果工单有账号信息,但套餐字段缺失,系统可以进入「较可能」:建议分到登录队列,提示核对账号套餐。这时的表达是「较可能」,因为主要依据在,次要依据缺。
如果工单字段完整、历史记录匹配,系统进入「确定」:直接给队列、优先级和模板,并附三条来源。用户仍然可以修改,但默认路径是快速确认。
| 工单情况 | 档位 | 界面动作 |
|---|---|---|
| 字段完整、历史匹配 | 确定 | 直接给建议,附来源 |
| 主依据在、次依据缺 | 较可能 | 给建议,提示核对字段 |
| 关键字段缺失 | 不确定 | 说明缺什么,建议补输入或转人工 |
这张表把「信心」从模型内部状态变成可观察的输入条件。评审时不需要争论模型有没有信心,只需要看字段齐不齐、历史有没有匹配。
把不确定性写进输出
下面这个模型把三档、阈值、说法和转人工规则写在一起。tierFor 用 A 的三个口径分档,stateConfidence 返回说法与动作,overconfidence 计算把低置信说成高置信夸大了几档。
// file: src/trust/06-3-honest-limits.ts
// tier: L2
// verify: node --test test/trust/06-3-honest-limits.test.ts
// 不确定性表达三档:确定、较可能、不确定。
// 阈值直接取自 A 的分诊口径(事实表 2.4):
// 91.4% 是分诊正确率,78% 是建议采纳率,2.9% 是采纳后仍出错率。
export type ConfidenceTier = "certain" | "likely" | "uncertain";
export const RELAY_QUALITY = {
correct: 0.914,
adopted: 0.78,
postAdoptionError: 0.029,
} as const;
export function tierFor(confidence: number): ConfidenceTier {
if (confidence >= RELAY_QUALITY.correct) return "certain";
if (confidence >= RELAY_QUALITY.adopted) return "likely";
return "uncertain";
}
export type TierCopy = {
readonly phrase: string;
readonly requiresReview: boolean;
readonly routesToHuman: boolean;
};
export const TIER_COPY: Record<ConfidenceTier, TierCopy> = {
certain: {
phrase: "Based on the ticket fields, this routing is supported.",
requiresReview: false,
routesToHuman: false,
},
likely: {
phrase: "This routing is likely, but verify the account fields before sending.",
requiresReview: true,
routesToHuman: false,
},
uncertain: {
phrase: "I cannot determine this from the available fields; a person should decide.",
requiresReview: true,
routesToHuman: true,
},
};
export type ConfidenceStatement = TierCopy & {
readonly tier: ConfidenceTier;
readonly confidence: number;
};
export function stateConfidence(confidence: number): ConfidenceStatement {
const tier = tierFor(confidence);
return { tier, confidence, ...TIER_COPY[tier] };
}
const TIER_RANK: Record<ConfidenceTier, number> = {
uncertain: 0,
likely: 1,
certain: 2,
};
export type Overstatement = {
readonly actual: ConfidenceTier;
readonly shown: ConfidenceTier;
readonly steps: number;
readonly mustCorrect: boolean;
};
// 把低置信说成高置信,每夸大一档就多一层返工风险。
export function overconfidence(
actual: ConfidenceTier,
shown: ConfidenceTier,
): Overstatement {
const steps = Math.max(0, TIER_RANK[shown] - TIER_RANK[actual]);
return { actual, shown, steps, mustCorrect: steps > 0 };
}
// 22% 被人修改 = 1 − 78% 采纳率;这是过度自信最直接的代价口径。
export function expectedModifications(count: number): number {
return count * (1 - RELAY_QUALITY.adopted);
}
export function expectedPostAdoptionErrors(count: number): number {
return count * RELAY_QUALITY.postAdoptionError;
}
tierFor 只有两条阈值,前者对应正确率,后者对应采纳率。stateConfidence 把档位、说法和动作绑在一起,避免界面自己组合出「说不确定但不需要复核」的矛盾状态。overconfidence 把「夸大一档」和「夸大两档」区分开,因为两者的返工风险不同。
把 A 的低置信工单代入:关键字段缺失,置信度低于 78%,tierFor 返回 uncertain,stateConfidence 给出「无法判断、建议人决定」,并标记 routesToHuman。界面不需要再判断一次,直接按返回结果渲染。
三档怎么落到不同交互形态
三档表达在不同交互形态里的落点不一样。A 是嵌入工单页的侧栏,B 是报告编辑器,C 是后台任务中心,同样是「不确定」,展示方式不能照搬。
| 案例 | 确定 | 较可能 | 不确定 |
|---|---|---|---|
| A Relay | 建议卡直接给队列与来源 | 卡片上标「请核对套餐」 | 卡片改为补充输入或转人工 |
| B Quill | 段落正常输出,附数据包条目 | 段落加待核对标记 | 该段留空,标注缺少数据 |
| C Runner | 动作执行,记录规则与快照 | 动作前暂停,等人确认 | 不执行,列入人工队列 |
C 的不确定尤其重要。执行档的动作会改变外部状态,一旦把「较可能」当成「确定」直接执行,错误就落到真实价格和库存上。C 的自动完成率是 78%,其余 22% 转人工;不确定性表达要帮助系统更早识别这 22%,而不是等审计抽检才发现。
B 的不确定落点是段落。报告有 12–20 页,逐段标注比整篇打一个标签更有用。审改人 1.6 小时的基线,靠的就是快速定位到需要核对的段落。
A 的不确定落点是建议卡。A 是同步秒级建议,用户没有耐心读长解释;卡片上直接写「缺账号信息」比展开一段说明更有效。
诚实不等于免责
有些产品把「AI 生成,仅供参考」当成诚实表达。这只是免责,不是边界。它没有告诉用户哪一条不确定、为什么不确定、应该怎么核对。真正的诚实表达要具体到结论和缺失条件。
另一个极端是把所有不确定性都推给用户:「请自行判断」。这不是诚实,而是把判断成本转嫁出去。产品应该给出可执行的下一步:核对哪个字段、补充哪类信息、什么时候转人工。
诚实表达还要避免「假精确」。说一个精确到小数点的置信度,看起来比「较可能」精确,但用户无法把它映射到行动。三档的价值就在于每一档都对应一个动作,而不是一个需要解释的数字。
哪些话不能说
| 不该说 | 问题 | 可以改成 |
|---|---|---|
| 我认为应该分到登录队列 | 把不确定包装成观点 | 较可能分到登录队列,请核对账号套餐 |
| 给出精确到小数点的置信度 | 数字无法映射到行动 | 较可能,建议核对账号字段 |
| AI 生成,仅供参考 | 免责声明,不是边界 | 缺少账号信息,无法确定队列 |
| 肯定没问题 | 过度自信,取消复核 | 依据完整,可直接采用,来源见下 |
这张表可以直接拿去做文案评审。凡是出现「我认为」「肯定」「绝对」这类词,都要追问:依据是什么、缺什么条件、用户该做什么。答不上来,就说明这句话在掩盖边界。
诚实表达的效果也要能被度量:转人工率、复核时长、被修改比例,都是可观察的验证指标。
小结
- 不确定性分三档:确定、较可能、不确定;每档对应不同的说法和动作。
- 确定看依据是否完整,不看模型自我感觉;确定仍然要附来源。
- 较可能要说清核对哪个字段,笼统的「请人工确认」会被忽略。
- 不确定要明确说无法判断,并给出补输入或转人工的路径。
- 阈值取自 A 的口径:91.4% 正确率对应确定,78% 采纳率对应较可能的下界。
- 过度自信的代价是 22% 的建议会被修改,以及 2.9% 的采纳后错误被放大。
- 诚实表达的目的是让用户采取正确行动,不是把判断成本推给用户。
- 「AI 生成,仅供参考」是免责声明,不是能力边界表达。
阅读导航:上一节:6.2 降级阶梯 · 下一节:7.1 异步任务的承诺与回执 。
常见错误与边界
- 把「我认为」当不确定性表达。 它把不确定包装成观点,用户无法据此行动;要给出档位、缺失条件和下一步。
- 用免责声明代替边界。 「AI 生成,仅供参考」没有说明哪一条不可靠,也没有核对路径。
- 所有输出都说「不确定」。 过度谨慎会让用户停止使用,转人工率上升,0.75 分钟的人工基线守不住。
- 把置信度数字直接给用户。 精确数字无法映射到行动;三档加具体核对项更有用。
- 低置信结论仍然快速确认。 采纳 32 秒、修改 91 秒的差异说明表达方式会影响人的路径;过度自信会放大 2.9% 的采纳后错误。
- 阈值拍脑袋。 阈值应来自已有的正确率与采纳率口径,否则评审时无法解释为什么是这个数。
这一章从失败态走到能力边界。下一章换到时间维度:当任务需要几分钟甚至几小时,产品如何承诺、如何回执、如何让用户知道它还在跑。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。