《AI Agent 产品开发·交互、信任与上线》3.2 运行中纠偏

运行中纠偏的目标不是让用户重新描述一遍需求,而是只改一个约束、只换一份输入、只跳过一步。本节比较追加约束、替换输入、跳过步骤与章节重写四种交互,用 B Quill 的章节重写算出纠偏与整份重跑的成本差,并给出可运行的纠偏能力模型,帮助产品团队把返工范围压到真实影响面。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

用户最常说的纠偏不是「全部重来」,而是「等一下,这里不对」。如果产品只提供「取消」和「重新开始」,用户就必须把已经确认过的上下文、已经改过的段落、已经排除的选项全部再说一遍。纠偏设计的核心判断是:改一个约束不必从头再来。

这一节把纠偏拆成四种可组合的交互,再用 B Quill 的章节重写算一次成本差。重点不在交互控件,而在「影响面」——纠正到底应该让多少已完成的工作失效。

四种纠偏交互

交互用户做什么系统改什么保留什么典型场景
追加约束补一句「金额按含税口径」只改后续步骤的约束已完成的步骤与结论规则遗漏、口径不清
替换输入换一份数据包或工单从依赖该输入的步骤重算与旧输入无关的步骤数据源选错、附件过期
跳过步骤说「这一步不用做」跳过当前动作,继续后续已执行动作与审计记录某条规则不适用
章节重写指定「从第三章重写」只重生成指定范围其他章节与已确认内容方向对、局部错

前三种是通用交互,第四种是 B Quill 这种长文档产品的专用交互。四者的共同点是把纠偏的作用域写清楚:改的是约束、输入、步骤还是产出范围。作用域不清,系统只能保守地全部重跑。

选择纠偏方式的第一步是判断错误类型:

错误类型正确交互错误交互
规则没说清追加约束重新生成整份
原料错了替换输入只改输出格式
某条规则不适用跳过步骤删除已执行记录
局部方向错章节重写整份重跑

把错误类型和交互对上,用户只需要描述「哪里错了」,不需要理解系统的步骤编号。产品把选择成本从用户转移回系统,纠偏才有可能被真正使用。

追加约束适合「规则没说完」的情况。它不改变已有输入,只改变后续判断条件。替换输入适合「原料错了」的情况,影响面由依赖关系决定,不由用户凭感觉圈定。跳过步骤适合执行档,跳过的是动作,不是责任:跳过之后仍然要留下「为什么跳过」的记录。章节重写适合草稿档,它把返工范围从整份报告压缩到一章。

纠偏与重跑的成本差

以 B Quill 为例。事实表给出的基线是:单份报告人工 4.2 小时,Agent 生成 11 分钟,人审改 1.6 小时(96 分钟)。一次整份重跑的成本是:

项目整份重跑局部重写(影响面 30%)
机器生成11 分钟3.3 分钟
人工审改96 分钟28.8 分钟
合计107 分钟32.1 分钟

局部重写按「小改」档的 30% 上限估算。事实表里 B 的小改率是 28%,定义是改动小于 30%,所以 30% 是一个保守上界,不是精确预测。按这个上界,人工审改从 96 分钟降到 28.8 分钟,省下 67.2 分钟;加上机器时间,总耗时从 107 分钟降到 32.1 分钟,省下 74.9 分钟。

这张表最重要的不是省了多少,而是省下来的部分来自哪里:它来自「已完成且不受影响的工作没有再次进入审改」。如果用户说不清影响面,系统只能按 100% 重跑,成本立刻回到 107 分钟。所以纠偏交互的第一项工作,是帮用户把影响面缩小,而不是把「重新生成」按钮做得更漂亮。

A Relay 的情况不同。它的单任务人工基线是 3.5 分钟,Agent 介入后人工 0.75 分钟、机器 0.30 分钟。任务本身是一次分诊,没有「已完成章节」可以保留,所以 A 的纠偏本质上就是换一个队列重新生成,成本约等于重跑。给 A 设计复杂的局部重写没有收益;它需要的是「改队列后立即重算」这一个动作。

C Runner 的纠偏粒度是动作批次。它可以在批次之间跳过当前动作,但已经执行的动作不能当作没发生。跳过一步节省的是后续执行时间,不是审计责任:C 的人工账里,审计摊销 0.96 分钟和转人工 3.08 分钟仍然要按实际发生的动作计算。

B Quill 的章节重写

假设报告写到第三章,用户发现数据包里用的是上一版客户数据。此时有三种处理方式:

  1. 整份重跑。 机器 11 分钟,人工再审 96 分钟。第一、二章已经确认过的内容全部作废。
  2. 只重写第三章。 机器约 3.3 分钟,人工审改约 28.8 分钟。前提是错误只影响第三章。
  3. 先停下,核对影响面。 如果错误数据贯穿全文,前两章也引用了同一份数据,那么影响面不是 30%,而是 100%;此时局部重写是自欺欺人。

章节重写的产品价值,不在于让用户少等几分钟,而在于让用户敢于在过程中指出错误。如果每次指出错误都意味着整份重来,用户会倾向于「先让它跑完再说」,于是错误被带到更后面的审改阶段,返工反而更贵。B 的返工率是 9%,其中一部分来自方向性错误;章节重写正是针对这类错误,而不是针对错别字。

章节重写还必须处理跨章一致性。只改第三章,可能让第三章的结论与前两章的数据口径不一致。所以重写范围不能只由用户圈定,系统要给出「受影响的引用清单」:第三章改了哪个数字,哪些章节引用了同一个数字,哪些图表需要重渲染。影响面是算出来的,不是问出来的。

一次完整的章节重写可以拆成五步,每一步都要给用户可见的回执:

  1. 标记错误来源。 用户指出「数据包是上一版」,系统记录错误类型是输入过期,不是生成质量差。
  2. 计算引用闭包。 从错误输入出发,找出所有直接引用和间接引用它的段落、图表与结论。
  3. 圈定重写范围。 闭包内的章节重写,闭包外且未引用该输入的章节保留。
  4. 保留已确认内容。 用户已经批注通过的段落即使落在闭包内,也要先询问是保留还是重写。
  5. 只审改受影响部分。 审改界面默认只展开重写范围,用户仍可手动展开全篇对比。

这五步里,第二步最容易偷懒。很多产品让用户自己勾选「哪些章节要重写」,看起来灵活,实际把最难的依赖分析推给了用户。用户既不掌握引用关系,也不愿意为一处错误逐章检查,最后往往全选重写,局部纠偏退化成整份重跑。

纠偏的时机决定交互形态

同样是纠偏,发生在动作之前、动作之中、动作之后,交互形态完全不同。

时机用户想做什么可用操作案例位置
动作之前改约束、换输入追加约束、替换输入A 采纳前、B 发布前
动作之中改方向、跳过一步章节重写、跳过步骤B 每章生成后、C 批次之间
动作之后退回已经发生的结果撤销、补偿进入下一节的撤销模型

本节的四种交互覆盖前两个时机。动作之后的退回不是「纠偏」而是「撤销」:纠偏改变的是还没发生的事,撤销处理的是已经发生的事。把两者混在一个按钮里,用户会以为「重新生成」能把已经写入外部系统的动作也一并抹掉。

纠偏也不是无限次的。同一个任务上反复追加约束、反复重写,说明问题不在某一处细节,而在任务规格或输入本身。产品应该在连续多次纠偏后提示转人工接管,而不是让用户在同一份产出上不断打补丁。B 的返工率是 9%,这部分工作本来就应该由人重新判断方向,而不是靠更多次局部重写堆出来。

纠偏交互的四个细节

第一,纠偏要产生新版本,不要覆盖旧版本。 B 的撤销模型是回退上一版,前提是上一版还在。替换输入后直接覆盖,用户就失去了对比「改前改后」的能力。

第二,纠偏要说清保留了什么。 界面上不能只写「正在重新生成」,要写「保留第一、二章,重写第三、四章,图表 2 重新渲染」。保留范围是用户判断成本的依据。

第三,纠偏要允许追加,不要强迫重述。 用户补一句约束,系统应该把它合并进现有约束集,而不是要求用户重写整段提示。追加约束是最便宜的纠偏,产品应该优先支持。

第四,纠偏要留下原因。 每一次纠偏都是一条质量信号:用户为什么改、改了哪里、改完是否采纳。这些记录比事后的满意度评分更接近真实问题。

把纠偏能力写成模型

下面的模型把「案例支持哪种纠偏」和「局部重写省多少人工」分开:能力表决定能不能做,成本函数只对支持局部纠偏的案例计算影响面。

// file: src/trust/03-2-correct-in-flight.ts
// tier: L2
// verify: node --test test/trust/03-2-correct-in-flight.test.ts

// 运行中纠偏:纠正的粒度决定要不要重跑整份产出。
// B 的生成 11 分钟、审改 96 分钟来自事实表;影响面由调用方给出。

import { QUILL } from "../cases.ts";
import { fail, ok, type Result } from "../core/result.ts";

export type CorrectionOp =
  | "append-constraint"
  | "replace-input"
  | "skip-step"
  | "rewrite-section";

export type Correction = {
  readonly op: CorrectionOp;
  readonly target: string;
  readonly preservesCompleted: boolean;
};

export type Cost = {
  readonly machineMinutes: number;
  readonly humanMinutes: number;
};

export type Capability = {
  readonly key: "A" | "B" | "C";
  readonly granularity: "whole-task" | "section" | "action-batch";
  readonly ops: readonly CorrectionOp[];
  readonly supportsPartial: boolean;
};

export const CAPABILITIES: Record<"A" | "B" | "C", Capability> = {
  A: {
    key: "A",
    granularity: "whole-task",
    ops: ["append-constraint", "replace-input"],
    supportsPartial: false,
  },
  B: {
    key: "B",
    granularity: "section",
    ops: ["append-constraint", "rewrite-section"],
    supportsPartial: true,
  },
  C: {
    key: "C",
    granularity: "action-batch",
    ops: ["append-constraint", "skip-step"],
    supportsPartial: true,
  },
};

// 事实表里的 B:生成 11 分钟,审改 1.6 小时 = 96 分钟。
export const B_GENERATION_MINUTES = QUILL.machineMinutes;
export const B_REVIEW_MINUTES = QUILL.humanMinutes;

export function fullRerunCost(): Cost {
  return {
    machineMinutes: B_GENERATION_MINUTES,
    humanMinutes: B_REVIEW_MINUTES,
  };
}

export function partialRerunCost(affectedShare: number): Cost {
  if (affectedShare < 0 || affectedShare > 1) {
    throw new RangeError("affectedShare must be between 0 and 1");
  }
  return {
    machineMinutes: B_GENERATION_MINUTES * affectedShare,
    humanMinutes: B_REVIEW_MINUTES * affectedShare,
  };
}

export function humanMinutesSaved(affectedShare: number): number {
  return B_REVIEW_MINUTES - partialRerunCost(affectedShare).humanMinutes;
}

export function planCorrection(
  capability: Capability,
  op: CorrectionOp,
  target: string,
): Result<Correction> {
  if (!capability.ops.includes(op)) {
    return fail(`${capability.key} does not support ${op}`);
  }
  if (op === "rewrite-section" && target.trim() === "") {
    return fail("rewrite-section needs a target section");
  }
  return ok({
    op,
    target,
    preservesCompleted: capability.supportsPartial && op !== "replace-input",
  });
}

CAPABILITIES 写清每个案例的纠偏粒度与可用操作。A 是整任务级,只能追加约束或替换输入,supportsPartial 为 false;B 是章节级,支持章节重写;C 是动作批次级,支持跳过步骤。planCorrection 在操作不被支持或章节重写缺少目标时返回错误,避免界面给出一个实际做不到的按钮。

partialRerunCost 只接受 0 到 1 的影响面。传 0.3 时,机器 3.3 分钟、人工 28.8 分钟;传 1 时退化为整份重跑。这个设计把「影响面」变成显式参数,产品评审时可以追问:这个 30% 是怎么算出来的,依据是哪几个章节的引用关系。

设计检查清单

  • 纠偏交互至少覆盖追加约束、替换输入、跳过步骤中的两种。
  • 长文档产品必须支持按章节重写,并给出跨章引用清单。
  • 纠偏要保留已完成且不受影响的步骤,不能默认整份重跑。
  • 纠偏结果要生成新版本,旧版本可回退。
  • 影响面由系统按依赖关系计算,不让用户凭感觉圈定。
  • 每次纠偏记录原因、范围与结果,进入质量反馈。

小结

  • 运行中纠偏的目标是改一个约束,不必从头再来。
  • 四种交互各有作用域:追加约束、替换输入、跳过步骤、章节重写。
  • B 的整份重跑是 11 分钟机器加 96 分钟人工;30% 局部重写是 3.3 分钟加 28.8 分钟。
  • 局部重写省下 67.2 分钟人工,前提是影响面真的只有 30%。
  • A 的任务没有可保留的中间产出,纠偏约等于换队列重跑,不必设计复杂局部重写。
  • C 可以在批次之间跳过动作,但已执行动作的审计责任不会消失。
  • 章节重写要处理跨章一致性,影响面由引用关系算出,不由用户口头圈定。
  • 纠偏要产生新版本、说清保留范围、留下原因。

阅读导航:上一节:3.1 可打断点设计 · 下一节:3.3 撤销模型:能撤什么、撤到哪 。

常见错误与边界

  1. 只给「重新生成」。 用户改一个约束就要重述全部需求,纠偏成本高于自己重做,功能会被绕过。
  2. 把影响面交给用户猜。 用户不知道哪些章节引用了同一份数据;系统要按依赖关系给出受影响清单。
  3. 局部重写不做一致性检查。 只改一章可能让全文口径打架,重写范围必须包含引用同一数据的段落与图表。
  4. 纠偏覆盖旧版本。 覆盖后无法对比改前改后,也无法回退;纠偏应产生新版本。
  5. 给一次性任务设计章节级纠偏。 A 的分诊没有章节,硬套局部重写只会增加界面复杂度。
  6. 把跳过动作当成没发生。 C 跳过一步仍然要记录原因与审计,不能从人工账里抹掉。

下一节讨论更彻底的问题:动作已经执行了,用户要退回去,产品能撤什么、撤到哪、多长时间内还能撤。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图