《AI Agent 产品开发·任务定义与能力边界》9.1 用户期待它记得什么

用户说「记住」时,期待的并不是同一件事。本节把记忆候选分成偏好、约定、临时需求和口误四类,给出该记与不该记两张清单,用 A Relay 的客户历史说明记忆的价值,解释记忆错误为什么会被复用放大,并给出上线前的验收清单与可运行判定模型,帮助团队判断哪些信息值得长期保存。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

用户第一次对 Agent 说「记住」时,心里想的通常是一件很具体的事:记住我的称呼、记住这个客户的偏好、记住我们团队的模板。但「记住」在产品里不是一个动作,而是一组决策:记什么、记多久、用在哪里、怎么删。任何一个决策没写清楚,用户期待的「记得」就会变成「怎么连这个都记」。

这一节先回答第一个问题:什么值得记。答案不是「用户说记住就记」,而是「稳定的、可复用的、能被核对的信息才记」。一次口误、一句气话、一个临时需求,都不该进入长期记忆。

用户说「记住」时,其实在说四种话

把用户的原话按意图拆开,至少有四类。四类的产品处理完全不同,混在一起就会把该忘的记住,把该记的忘掉。

类型用户原话实际意图产品动作
偏好「以后都按这个格式回我」稳定选择,跨会话复用记入长期记忆
约定「这个客户的账单问题先归账单队列」团队规则,需要可核对记入长期记忆,带来源
临时需求「今天先按英文回」只在本次有效只保留在会话内
口误「这次先别按模板回」一次例外,不是规则不记,甚至要主动忽略

四类里最容易出错的是口误。用户说「这次先别按模板回」,字面意思是「不要模板」,实际意思可能是「这封邮件特殊」。如果 Agent 把它记成「该用户不喜欢模板」,下一次正常工单也会被去掉模板,用户会觉得它「学歪了」。

临时需求也容易被误记。用户说「今天先按英文回」,可能是因为今天的客户是英文客户;如果 Agent 记成「该用户偏好英文」,下周的中文客户就会收到英文回复。临时需求不是不能记,而是只能记在会话里,会话结束就失效。

偏好和约定的区别在于来源。偏好是用户明确表达的,约定是团队观察到的规则。两者都可以长期记,但约定需要带来源,因为团队规则会变,用户需要知道这条记忆是从哪次对话、哪个工单来的。

该记与不该记两张清单

把上面的分类落成清单,产品评审时可以直接对照。

该记的:

  • 用户明确表达的格式偏好,比如回复语气、长度、称呼。
  • 团队确认过的分诊规则,比如某类客户固定归某个队列。
  • 客户的历史处理方式,比如上次类似问题由谁解决、用了哪个模板。
  • 用户主动纠正过的错误,比如「这个字段不是合同金额,是预算」。
  • 跨会话重复出现的任务参数,比如固定报表的统计口径。

不该记的:

  • 一次性的临时指令,比如「今天先这样」。
  • 情绪化表达,比如「这个客户真难搞」。
  • 未经验证的推断,比如「他可能更在意价格」。
  • 与任务无关的个人信息,比如家庭情况、健康状况。
  • 用户明确要求不要记的内容。

两张清单的分界线不是「重要不重要」,而是「稳定不稳定」。稳定的信息可以复用,复用的次数越多,记忆的价值越大;不稳定的信息一旦复用,错误也会跟着放大。

还有一类灰色地带:用户没有明说,但行为反复出现。比如同一个用户每次都把报告里的柱状图改成折线图。这可以记,但要标成「观察到的偏好」,并且在下次使用时让用户有机会否认。观察到的偏好和明确表达的偏好,信任级别不同,产品上要能区分。

A Relay 的客户历史:记忆对分诊的价值

A Relay 是 Northwind 的客服工单分诊 Agent,月工单量 26,400 单,人工分诊基线 3.5 分钟一单。它的任务是把新工单分到 8 个队列之一,定优先级 P1–P4,并给出首响模板编号。

在这个任务里,客户历史是有价值的记忆。同一个客户上次的账单问题归了账单队列,这次类似的问题大概率也该归账单队列;同一个客户上次由某位支持人员解决,这次可以优先分配给同一个人。这些信息不改变分诊的基本规则,但能减少确认时间。

A 的 Agent 介入后,人工确认耗时 0.75 分钟一单,模型耗时 0.30 分钟不计入人工。建议采纳率 78%,分诊正确率 91.4%,采纳后仍出错率 2.9%。这组数字说明:A 的大部分建议被人直接接受,人花 0.75 分钟主要是确认,而不是重新判断。客户历史如果能把这 0.75 分钟再压一点,价值就很直接。

但客户历史不能替代分诊判断。它只能做提示:与该客户历史队列一致时,标一句「与历史一致」;不一致时,标一句「历史为账单队列,请确认」。最终队列仍然由模型基于当前工单给出,人仍然在决策链上。记忆的作用是减少重复输入,不是替人做决定。

这也是 A 选择建议档的原因之一。分诊错误会影响客户体验和 SLA 承诺,团队坚持人在决策链上。记忆越强,越要小心它把「上次是这样」变成「这次也必须这样」。历史是参考,不是规则。

记忆错误的放大效应

普通错误发生一次,影响一次;记忆错误发生一次,影响每一次复用。这是记忆最危险的地方。

假设 Agent 把一次口误记成偏好:「该用户不喜欢模板回复」。这条记忆进入长期存储后,每一次生成回复都会去掉模板。用户第一次发现时,可能已经过了十几封邮件。更麻烦的是,用户不知道 Agent 为什么这样,只会觉得它「越来越不听话」。

放大效应有三个来源:

  1. 复用次数多。 一条长期记忆会被反复读取,错误跟着反复生效。
  2. 错误隐蔽。 单次输出看起来合理,用户不会逐条检查记忆依据。
  3. 纠正困难。 用户说「我没有不喜欢模板」,Agent 可能把它记成另一条偏好,而不是删掉原来那条。

所以记忆的产品设计要把「写入」和「读取」分开管。写入要严:只记稳定的、明确的、可核对的信息。读取要可见:每次使用记忆时,告诉用户用了哪一条、依据是什么。纠正要直接:用户否认一条记忆时,删除它,而不是新增一条相反的。

C Runner 的场景更能说明放大的代价。它月任务量 13,200 个,自动完成率 78%,审计抽检比例 8%。如果它记住了一条错误的客户偏好,比如「该客户接受自动改价」,这条记忆会影响后续所有相关任务,而审计只抽 8%,大部分错误不会被当场发现。记忆错误在执行档里不是体验问题,而是风险问题。

记忆的三种范围

产品上至少要有三种记忆范围,用户和团队才能控制它。

范围存什么生命周期典型例子
会话内本次任务的临时参数会话结束即失效「今天先按英文回」
长期稳定的偏好与约定直到用户删除或过期「回复用简洁书面语」
不记口误、情绪、敏感信息不进入存储「这次先别按模板回」

三种范围要能让用户看见。用户应该知道哪些内容被记在会话里、哪些被长期保存、哪些根本没有记。看不见的范围,等于没有范围。

范围还要能升级和降级。用户在会话里反复表达同一个偏好,产品可以提示「要不要以后都这样」;用户否认一条长期记忆,产品应该把它降级为不记,而不是留在长期存储里等下次再用。

记忆候选的判定顺序

给定一条候选记忆,判定顺序建议固定为:

  1. 是不是口误或情绪? 是,直接不记。
  2. 是不是只在本次有效? 是,放会话内。
  3. 来源是不是推断? 是,且与任务无关,不记。
  4. 是不是稳定约定? 是,长期记,带来源。
  5. 是不是明确偏好? 是,长期记,可被否认。

顺序不能反。如果先看「用户是不是明确说了」,就会把口误当成偏好;如果先看「有没有用」,就会把临时需求记成长期规则。先排除不该记的,再判断该记的,比反过来安全。

这个顺序也可以反过来用于清理。定期检查长期记忆时,先问「这条是不是口误」「是不是过期了」,再问「还有没有用」。大部分该删的记忆,在前两个问题就会被筛出来。

把记忆判定写成可运行的模型

下面这个模型把四类候选、三种范围和判定顺序写在一起。decide 返回是否记、记多久、为什么;annotateWithMemory 只给建议加提示,不改写模型给出的队列。

// file: src/task/09-1-memory-expectation.ts
// tier: L2
// verify: node --test test/task/09-1-memory-expectation.test.ts

// 记忆的产品口径:记住稳定的偏好与约定,不记住一次口误与临时情绪。
// 判定看来源、稳定性与用途,不看「模型能不能记」。

import { RELAY } from "../cases.ts";

export type MemoryKind = "preference" | "convention" | "transient" | "slip";

export type Candidate = {
  readonly text: string;
  readonly kind: MemoryKind;
  readonly source: "stated" | "observed" | "inferred";
  readonly taskRelevant: boolean;
};

export type Decision = {
  readonly remember: boolean;
  readonly scope: "durable" | "session" | "never";
  readonly reason: string;
};

export function decide(candidate: Candidate): Decision {
  if (candidate.kind === "slip") {
    return {
      remember: false,
      scope: "never",
      reason: "一次口误不构成偏好,记住会反复放大错误",
    };
  }
  if (candidate.kind === "transient") {
    return {
      remember: false,
      scope: "session",
      reason: "临时需求只在本次会话有效,跨会话复用会过时",
    };
  }
  if (candidate.source === "inferred" && !candidate.taskRelevant) {
    return {
      remember: false,
      scope: "never",
      reason: "推断出的偏好缺少明确依据,不该升级为长期记忆",
    };
  }
  if (candidate.kind === "convention") {
    return {
      remember: true,
      scope: "durable",
      reason: "稳定约定可跨会话复用,且能被人核对",
    };
  }
  return {
    remember: true,
    scope: "durable",
    reason: "明确表达的偏好可跨会话复用,用于减少重复输入",
  };
}

// A Relay 的记忆价值:同一客户的队列归属与历史处理方式,
// 在月工单量的规模下影响确认速度,但不替代分诊判断。
export const RELAY_MONTHLY_TICKETS = RELAY.monthlyTasks;

export type CustomerMemory = {
  readonly customerId: string;
  readonly usualQueue: string;
  readonly lastResolvedBy: string;
};

export type Suggestion = {
  readonly queue: string;
  readonly priority: string;
  readonly note: string;
};

// 记忆只做提示,不改写模型给出的队列;历史与当前不一致时反而要显式提醒。
export function annotateWithMemory(
  suggestion: Suggestion,
  memory: CustomerMemory | null,
): Suggestion {
  if (!memory) return suggestion;
  if (memory.usualQueue === suggestion.queue) {
    return {
      ...suggestion,
      note: `与该客户历史队列一致(${memory.usualQueue})`,
    };
  }
  return {
    ...suggestion,
    note: `与该客户历史队列不同:历史为 ${memory.usualQueue},请确认`,
  };
}

// 记忆错误的放大效应:错记一条偏好,会在每一次复用时重复生效。
export function reuseRisk(decision: Decision, reuseCount: number): string {
  if (!decision.remember) return "不进入复用链路";
  if (reuseCount <= 1) return "仅本次使用";
  return `跨 ${reuseCount} 次复用,错误会同步放大`;
}

decide 的判断顺序就是上面说的五步:先排除口误,再处理临时需求,再拒绝无依据的推断,最后才区分约定和偏好。scope 只有三种值,产品界面可以直接映射成「本次有效」「长期保存」「不记录」。

annotateWithMemory 是一个刻意的设计:即使客户历史与当前建议不一致,它也保留模型给出的队列,只在 note 里提示冲突。记忆不做覆盖,只做提醒。这样即使用户历史是错的,也不会把错误直接写进结果。

reuseRisk 把放大效应说清楚:一条被记住的偏好,复用一次只是「本次使用」,复用多次就会「同步放大」。产品可以用这个函数提醒自己:长期记忆的写入标准,应该比会话记忆严格得多。

怎么验证记忆做得对不对

记忆的验收不能只看「它记住了没有」,至少要看四件事:

验收项怎么测不合格的表现
该记的记住了重复表达同一偏好,看是否复用每次都要重新说
不该记的没记说一次口误,看下次是否照做把例外当成规则
记忆可见使用记忆时是否说明依据用户不知道它为什么这样
记忆可删用户否认后是否真的删除删了又出现,或变成另一条

四项里最容易漏的是第三项。团队通常只测「记住」和「忘记」,不测「为什么记得」。但用户对记忆的信任,恰恰来自可见性:知道它记了什么,才敢让它记更多。

A Relay 的客户历史记忆可以用这四项验收:该记的客户队列记住了;一次「这次先别归类」没有被记成规则;使用历史时显示「与历史一致」;用户说「这个客户没有固定队列」时,历史记忆被删除。四项都过,记忆才算可上线。

小结

  • 用户说「记住」时,可能在说偏好、约定、临时需求或口误,四类处理不同。
  • 该记的清单围绕「稳定、可复用、可核对」,不该记的清单围绕「一次性、情绪、推断、敏感」。
  • A Relay 的客户历史能减少确认时间,但只做提示,不替代分诊判断。
  • 记忆错误的放大效应来自复用次数、隐蔽性和纠正困难。
  • 记忆至少要有会话内、长期、不记三种范围,并且对用户可见。
  • 判定顺序要先排除不该记的,再判断该记的,不能反过来。
  • 记忆的验收要看四项:该记的记住、不该记的没记、记忆可见、记忆可删。
  • 长期记忆的写入标准应该比会话记忆严格得多,因为它会被反复复用。

阅读导航:上一节:8.3 接不了的时候怎么办 · 下一节:9.2 个性化的边界与越界感 。

常见错误与边界

  1. 用户说记住就记。 用户的原话可能是一次口误或临时需求;先判断类型,再决定是否写入长期记忆。
  2. 把临时需求记成长期偏好。 「今天先按英文回」只在本次有效;跨会话复用会让下一个客户收到错误语言。
  3. 把观察到的行为当成明确偏好。 反复出现的行为可以记,但要标成观察值,并允许用户否认。
  4. 记忆静默覆盖模型判断。 历史与当前不一致时应该提示冲突,而不是直接用历史替换结果。
  5. 只测记住,不测可见和可删。 用户不知道它为什么这样,也不敢让它记更多;删除后复现同样会摧毁信任。
  6. 把记忆当成越多越好。 记忆的价值在复用,风险也在复用;记太多会让错误放大得更快。

这一节回答的是「该记什么」。下一节要处理记忆的另一面:当它记得太准、用得太顺时,用户为什么反而会觉得被监视。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图