复核不是给流程盖章,是在模型和消费者之间留一个真的会停下来的人。
一、一次「点了发送,但没看内容」的复核
2026 年 7 月,一位商家投诉:「你们的 AI 把我们的退货政策说反了。」周闻调出记录,发现那条回复确实错了,但复核人一栏有名字,时间戳也齐全。
以下情境为教学假设,人物、引语和数字不代表经核实的真实案例。
他给那位复核人打电话,对方说:「我每天点几十次发送,哪看得过来。」这句话没有恶意,它只是说明一件事:产品把复核设计成了点击动作,而不是判断动作。
「有人复核」和「有人点发送」是两件事。 前者要求看内容、能拒绝、留下理由;后者只是一个按钮。把两者混为一谈,是所有 AI 产品里最常见的形式合规。
二、四条触发条件:什么内容必须有人看
他把复核从「全部人工」改成「按条件触发」,条件写进产品。
| # | 触发条件 | 判定 | 每月次数 |
|---|---|---|---|
| 1 | 自动发送开启 | 该商家全部回复 | 410 |
| 2 | 置信度低于阈值 | 模型自评低 | 计入上方 |
| 3 | 涉及钱与期限 | 退款、补偿、时效 | 计入上方 |
| 4 | 命中敏感词 | 投诉、法律、媒体 | 计入上方 |
四条不是四个队列,而是同一批 410 次的四个理由。他的做法是先出一条复核队列,再在每条上标触发原因;这样复核人知道「为什么要看这条」,而不是平均用力。
第 1 条是硬条件:开了自动发送,就必须有人复核。第 2 到第 4 条是加分条件:没开自动发送,但命中钱、期限或敏感词,也要进队列。
阈值不能自己拍。他的做法是先用 120 条评测集跑一遍,看置信度分布,再定一个「低分 20% 进队列」的线;线定得太高,复核量爆炸,定得太低,等于没筛。
触发条件要写在代码里,不能写在培训文档里。 写在文档里,靠人记得;写在代码里,漏不掉。
队列要排序,不能按时间先来后到。他的顺序是:涉及钱与期限的排最前,其次敏感词,最后低置信度;同样是一分钟,先看会赔钱的那条。
三、复核队列:每条一点二分钟
410 次/月,每条 1.2 分钟,合计 492 分钟,也就是 8.2 小时/月、98.4 小时/年。这个时长只够看清事实与语气,不够重写。
| 复核动作 | 时长 | 看什么 |
|---|---|---|
| 扫事实 | 20 秒 | 订单号、金额、时效是否对 |
| 扫政策 | 20 秒 | 是否越过退款与补偿边界 |
| 扫语气 | 20 秒 | 是否有承诺、甩锅、推诿 |
| 决定 | 20 秒 | 发送、修改或拒绝 |
四个 20 秒不是精确计时,而是提醒:复核要分四眼,不能一眼扫过就点。他的界面把四件事拆成四个勾选项,四个都勾了,「发送」按钮才亮。
这个小设计的效果比培训明显。以前复核人凭感觉点,现在必须先确认「事实对、政策对、语气对」,再决定发送;多花的几秒,换来的是可解释的记录。
复核结果只有三种:直接发送、改后发送、拒绝。26 条/月被改动或拒绝,占 410 次的 6.3%;这个比例不算高,但它说明复核不是走过场——真有人拦下过东西。
6.3% 也有另一面:如果长期接近 0,说明复核人没在看;如果长期高于 20%,说明模型或提示该修了。两个方向都要报警。
复核的价值不在拦下多少,而在「拦得下」。 一条都拦不下的复核,和没有复核一样;拦下太多的复核,说明上游该改。
复核是重复劳动,疲劳比不会更常见。第 40 条之后,人眼会开始「看形状不看内容」;他的做法是每 20 条强制休息一次,界面上弹出提示,不是靠自觉。
一天看不完就分批,不能压到第二天。他的规则是「当天队列当天清」,看不完就关掉自动发送,让回复回到人工草稿;宁可慢,不要堆。
复核人还要轮换。同一个人连续三个月看同一类内容,会形成固定预期;换人看一周,往往能挑出原来被忽略的问题。
复算:
复核量:410 次/月(自动发送开启的 41 家)
单次:20 + 20 + 20 + 20 秒 = 80 秒 ≈ 1.2 分钟
月度:410 × 1.2 = 492 分钟 = 8.2 h/月
年度:8.2 × 12 = 98.4 h/年
改动或拒绝:26 ÷ 410 = 6.3%
开启占比:41 ÷ 380 = 10.8%
98.4 小时是「已经开了自动发送的 41 家」的成本。如果开启率从 10.8% 涨到 30%,复核量会接近三倍;所以自动发送不能当成增长功能来推,它是成本功能。
四、三级升级与一条记录
不是所有拒绝都能在复核人这一层解决。他定了三级。
| 级别 | 谁 | 处理什么 | 时限 |
|---|---|---|---|
| 一级 | 商家复核人 | 常规改动、拒绝 | 当班 |
| 二级 | 商家主管 | 政策冲突、补偿争议 | 24 小时 |
| 三级 | 平台(周闻) | 系统性问题、疑似漏洞 | 72 小时 |
一级解决大部分,二级处理「复核人也不确定」的,三级处理「这不是单个商家的问题」。三级加起来每月不到 5 次,但它们决定了产品要不要改。
升级要有一条路径,不是三个群。他的做法是工单上有一个「升级」按钮,点了必须填两件事:为什么一级解决不了、期望谁来决定;不填不能提交。
复核记录要能当证据用。每条记录保存:谁复核、什么时候、四个勾选项、决定、拒绝理由、模型版本。客户审查时,这一页比任何承诺都有说服力。
记录也要能反查。客户问「上个月哪几条被拒了」,要能一分钟内导出来;导不出来,说明记录只是日志,不是证据。
升级路径的终点必须是能改产品的人。 如果三级还是「转给客服」,那这条路径只是把问题往后推了一层。
三级还有一个作用:它把「个案」变成「信号」。同一个拒绝理由一个月出现三次,就该进评测集,成为下一版的回归用例。
导出格式要用客户能读的:一行一条,列是时间、复核人、决定、理由、模型版本。CSV 比截图好,截图比口头承诺好;客户审查现场要的是能翻的东西。
三级路径要测过一次才算有。他每季度手动升一次级,看 72 小时能不能走完;没测过的路径,真出事时通常会卡在第二级。
五、行动清单与复算验收
- 列出所有需要人工复核的 AI 输出类型。
- 把触发条件写进代码,而不是培训文档。
- 复核界面拆成事实、政策、语气、决定四步。
- 记录每条复核的复核人、时间、决定与理由。
- 给复核结果设两个报警线:接近 0 与高于 20%。
- 定义三级升级路径与每级时限。
- 升级时必须填写「为什么一级解决不了」。
- 每月把重复出现的拒绝理由补进评测集。
验收标准:任取一条自动发送的回复,都能找到谁在什么时候、依据什么决定发出的。
前四条是「让复核真的发生」,后四条是「让复核留下证据」。如果只有一小时,先做第三条:把四步拆开,比加一条培训通知有效。
使用边界与实操验收
人工复核不是人工替代。 复核人看的是事实、政策与语气,不是重写整条回复;要求逐字重写,复核量会立刻崩掉。
复核不能覆盖所有输出。 全部人工等于没有自动化;按条件触发,才能把注意力放在高风险的那 10%。
复核人不等于责任人。 复核人签字,责任仍在商家;产品要做的是让责任可见,不是把责任转移给一个打工的人。
人在回路不等于人做决定。 如果复核人只能点「发送」、不能拒绝,那就不是回路,是橡皮图章。
记录保存要有时限。 复核记录含对话内容,保存两年足够;无限期保存,会和删除承诺冲突。
本文的数字是教学假设。 410 次、1.2 分钟、6.3% 都是演示口径,换成自己的产品要按实际开启率重算。
关键参考与核验范围
- EU AI Act 第 14 条:人工监督 :用于核对人工监督的设计要求与有效性问题。
- NIST AI 风险管理框架 :用于核对人在回路、监测与响应在风险管理中的位置。
- OWASP LLM Top 10 :用于核对过度代理与不当输出处理相关的风险条目。
以上链接于 2026-10-27 实测可公开访问;未核验版本、条款更新与适用范围。核验日期:2026-10-27。
范围上只讨论一人产品如何设计 AI 输出的人工复核与升级路径,不评价任何辖区的监督义务细节,也不提供法律意见。
系列导航
- 上一篇:输出责任:三档错误、七件投诉与四条条款边界
- 下一篇:评测证据:一百二十条用例、九条红队问题与一份证据包
- 回到目录:一个人的 AI 合规:六个功能、二十二项供应商条款与一次客户审查
- 相关阅读:一个人给产品加 AI:判据、成本、护栏与验收
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。