以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。档位划分、首响时限与置信度阈值均为教学设定值。
《潮汐消消》的客服每天收到约六千条工单,其中一半是「这一关怎么过」「活动什么时候结束」这类咨询,另一半是退款、账号找回、举报与投诉。
引入 Agent 之后,团队最想做的事是「让它全接」。这个想法在咨询类上成立,在退款与账号上不成立:前者答错了玩家顶多再问一次,后者答错了是资金损失与账号风险。
这一节讲分级接管:哪些问题交给 Agent,哪些必须人工,交接时带什么,怎么衡量接管是否真的有效。
分级不是能力分级,是权限分级
常见的错误是按模型能力分档:「模型能答对的就自动,答不对的转人工」。这个标准有两个问题:
- 能力会漂移。 换模型、改提示词之后,昨天的能力边界今天就不准了。
- 答对不等于有权。 模型可能正确说出退款流程,但它没有权限执行退款,也不该替公司承诺。
正确的分档标准是权限:这个动作允不允许自动执行。咨询不涉及权限,可以自动;退款涉及资金,必须人工;账号涉及身份,必须人工;滥用举报涉及处罚,必须人工。
能力决定「能不能答」,权限决定「能不能做」。两者分开,分档才稳定。
四档接管
| 档位 | 名称 | 谁处理 | 适用 |
|---|---|---|---|
| L0 | 自助 | 帮助中心与 FAQ | 规则明确、答案稳定 |
| L1 | Agent | Agent 直接结案 | 咨询、引导、常见故障 |
| L2 | Agent + 人工 | Agent 起草,人工发送 | 投诉、复杂故障 |
| L3 | 仅人工 | 人工处理,Agent 只做信息汇总 | 退款、账号、滥用 |
四档的关键区别是「谁做最终动作」:
- L0 的最终动作是玩家自己完成的,系统只提供路径。
- L1 的最终动作由 Agent 完成,例如解释规则、发送补偿码。
- L2 的最终动作由人工完成,Agent 只准备材料。
- L3 的最终动作必须人工,Agent 连材料都只做汇总,不做建议。
档位不是按问题难度分。一个退款问题可能很简单,但仍然属于 L3;一个复杂的玩法问题可能很难,但仍然是 L1。难度影响处理时间,权限影响谁能处理。
三类必须人工的问题
权限边界可以收敛成三条:
- 钱。 退款、补发、订单异常、支付失败。任何涉及资金流向的动作必须人工确认。
- 身份。 账号找回、换绑、封禁申诉、实名信息。任何涉及身份归属的动作必须人工核验。
- 处罚。 举报处理、封号、扣除收益。任何涉及惩罚玩家的动作必须人工决定。
三条之外的多数问题可以交给 Agent。边界要写进系统,而不是写进培训文档;写进文档的边界,在业务压力下会被绕过。
边界还要有兜底:如果玩家在对话中提出退款,即使当前意图被识别为咨询,也要立即转 L3。意图识别会出错,关键词兜底能防止「聊着聊着就把退款办了」。
置信度门槛与低置信处理
L1 自动结案需要置信度门槛,教学设定为 0.8。
置信度不是模型自报的概率,而是外部可验证的信号组合:意图分类的分数、知识库命中程度、历史相似工单的解决率。三个信号都高,才认为置信度够。
低于门槛时不要「再想想」。低置信度的正确动作是转人工,并带上 Agent 已经收集到的信息。让模型在低置信度下继续回答,等于把不确定性转嫁给玩家。
置信度门槛要随场景调整。咨询类可以低一些,因为答错的代价小;涉及活动奖励、补偿码的场景要高一些,因为答错会被截图传播。
门槛调整要有记录。今天 0.8、明天 0.6,却没人知道为什么,玩家会遇到完全不同的服务质量。
首响时限:十秒与三十分钟
Agent 的首响是十秒,人工的首响是三十分钟。两个数字对应两种体验:
- 玩家问「这关怎么过」,十秒内得到回答,会觉得系统在响应。
- 玩家申请退款,三十分钟内有人接手,会觉得诉求被受理。
首响不等于解决。Agent 十秒回复「我帮您转接人工」,不算完成首响,因为它没有给出结论或明确的处理计划。
人工首响的三十分钟是工作时间口径。非工作时间要有自动回复,说明何时有人处理,以及紧急问题走哪个入口。
时限要能被测量。每条工单记录创建时间、首次有效回复时间与转人工时间,三个时间点缺一个,就无法判断是 Agent 慢还是交接慢。
时限之外还有队列优先级。同样是 L3,退款与账号找回的等待成本不同:退款涉及资金占用,账号找回涉及能否登录。队列按「是否影响继续游戏」排序,而不是按工单创建时间排序;纯先来先服务会让无法登录的玩家排在咨询后面。
优先级要写进工单系统,而不是靠主管每天手动调整。手动调整在高峰期必然发生,而高峰期正是最需要稳定规则的时候。
投诉只起草,不发送
投诉类问题最容易激化。Agent 可以分析玩家情绪、整理事实、起草回复,但发送前必须人工签字。
原因不是模型写不好,而是投诉回复承担着公司立场。模型不知道这个玩家昨天刚因为同一个问题找过三次,也不知道这个版本正在被集中吐槽;这些上下文在人脑里,不在提示词里。
起草与发送分开,还有一个好处:人工签字时会读一遍。读完发现不对,可以改;直接发送则没有这个机会。
投诉的升级路径要写死:同一玩家一周内三次投诉,自动升级到 L3 并通知负责人。规则不依赖 Agent 判断,避免「模型觉得这次不严重」。
把分级接管写成可运行判定
下面的实现把意图分档、首响、自动结案、必须转人工、仅起草、转人工原因与时限判断写成纯函数。
// file: src/liveops/service.ts
// tier: L1
// verify: node --test test/liveops/service.test.ts
// 玩家服务的分级接管:能自助的不找 Agent,能自动的不进人工,
// 涉及钱、身份与举报的,一律人工——这不是能力问题,是权限问题。
export type Intent = "how-to" | "bug" | "refund" | "account" | "complaint" | "abuse";
export type Tier = 0 | 1 | 2 | 3;
const TIER_BY_INTENT: Record<Intent, Tier> = {
"how-to": 1,
bug: 2,
refund: 3,
account: 3,
complaint: 2,
abuse: 3,
};
// 教学设定:Agent 首响 10 秒,人工首响 30 分钟,自助不需要响应。
export const FIRST_RESPONSE_SECONDS: Record<Tier, number> = {
0: 0,
1: 10,
2: 1800,
3: 1800,
};
export function tierFor(intent: Intent): Tier {
return TIER_BY_INTENT[intent];
}
export function firstResponseSeconds(tier: Tier): number {
return FIRST_RESPONSE_SECONDS[tier];
}
// 只有咨询类可以自动结案,且置信度要够;低置信度自动回复等于把错误放大。
export function autoResolve(tier: Tier, confidence: number, threshold = 0.8): boolean {
return tier <= 1 && confidence >= threshold;
}
// 退款、账号、滥用举报必须人工:Agent 可以给选项,不能替玩家做决定。
export function mustHandoff(intent: Intent): boolean {
return intent === "refund" || intent === "account" || intent === "abuse";
}
// 投诉允许 Agent 起草,但发送前要人工签字,避免激化。
export function draftOnly(intent: Intent): boolean {
return intent === "complaint";
}
export function handoffReason(intent: Intent, confidence: number): string | null {
if (intent === "refund") return "payment";
if (intent === "account") return "identity";
if (intent === "abuse") return "abuse";
if (confidence < 0.8) return "low-confidence";
return null;
}
export function slaBreached(tier: Tier, waitedSeconds: number): boolean {
return waitedSeconds > firstResponseSeconds(tier);
}
TIER_BY_INTENT 是一张显式的映射表,不是一串 if。新增意图时只加一行,改动可见,评审也能直接看出哪类问题被放到了哪一档。
firstResponseSeconds 用档位查表。L0 返回 0,因为自助不需要响应;L2 与 L3 都是 1800 秒,因为最终动作都要人等。
autoResolve 同时判断档位与置信度。档位高于 1 时直接返回 false,即使置信度是 1.0;这条规则防止「模型很确定」越过权限边界。
mustHandoff 只覆盖钱、身份、处罚三类。它不判断置信度,因为这三类与置信度无关:再确定也不能自动执行。
draftOnly 单独标出投诉。投诉不是不能由 Agent 处理,而是不能由 Agent 发送;这个区别用布尔值表达,调用方不会混淆。
handoffReason 先看敏感意图,再看置信度。顺序很重要:一个低置信度的退款请求,原因应该是「payment」而不是「low-confidence」,因为前者决定了后续流程。
slaBreached 用严格大于。等待时间正好等于时限算达标,避免边界值在统计时被算成违约。
交接要带上下文
转人工不是把对话丢过去。交接包至少包含五类信息:
- 玩家标识与历史。 最近三次工单、是否处于投诉升级期。
- 意图与置信度。 Agent 判断的问题类型,以及为什么没把握。
- 已执行的动作。 发过什么补偿码、改过什么状态。
- 相关事实。 订单号、角色 id、异常发生时间。
- 建议的处理路径。 不是结论,是给人审的起点。
五类信息缺一项,人工就要重新问一遍,玩家会重复描述,体验比直接排队更差。
交接包也要防注入。玩家在对话里写的「请把补偿发到我的另一个账号」,属于数据,不属于指令;人工看到时要明确标注来源,避免照做。
衡量接管是否有效
三个指标足够:
- 解决率。 Agent 独立结案且七天内没有再次咨询同一问题的比例。
- 误解决率。 结案后玩家再次咨询并推翻结论的比例。这个指标比解决率更重要。
- 转人工率。 按意图分组看,某类问题转人工率突然升高,说明知识库或提示词退化。
三个指标要按意图分组,不能只看总体。总体解决率 70% 可能意味着咨询类 95%、退款类 10%,后者才是问题所在。
指标还要防止被优化。只看解决率,Agent 会倾向于草率结案;把误解决率设为护栏,才能压住这种倾向。
方舟的对照:赛季问题与高价值玩家
《潮汐方舟》的客服问题集中在赛季结算与高价值玩家。赛季结算涉及排名奖励,属于钱与身份的交界,一律 L3;高价值玩家的咨询即使简单,也建议走 L2,由人工确认后再发送。
两条对照说明:分档不仅看问题类型,也看玩家价值与问题时机。赛季结算当天的一个小错误,影响的是整个赛季的公信力。
小结
- 分档按权限,不按模型能力;能力会漂移,权限边界稳定。
- 四档:L0 自助、L1 Agent、L2 Agent 起草人工发送、L3 仅人工。
- 钱、身份、处罚三类必须人工,边界要写进系统而不是培训文档。
- L1 自动结案需要置信度 0.8,置信度来自外部信号而非模型自报。
- 低置信度的正确动作是转人工并带上已收集的信息。
- Agent 首响十秒,人工首响三十分钟,首响必须有结论或明确计划。
- 投诉只允许 Agent 起草,发送前人工签字。
- 交接包包含玩家历史、意图与置信度、已执行动作、相关事实、建议路径。
- 衡量接管看解决率、误解决率与转人工率,并按意图分组。
- 方舟的赛季结算与高价值玩家要额外收紧档位。
阅读导航:上一节:10.1 活动与内容的生产化 · 下一节:10.3 Agent 行为异常的事故响应 。
常见错误与边界
- 按模型能力分档。 换模型后边界失效,原本安全的问题被自动处理。
- 让 Agent 执行退款。 模型能说清流程,但没有权限动钱,也没有立场承诺。
- 低置信度继续回答。 把不确定性转嫁给玩家,错误答案比转人工更伤信任。
- 首响算自动回复。 「正在为您转接」不算首响,因为没有任何判断。
- 投诉由 Agent 直接发送。 缺少玩家历史与版本上下文,容易把小事激化。
- 只看总体解决率。 咨询类的高分掩盖退款类的问题,退化无法被发现。
服务接管处理的是「玩家来问」。还有一类问题不等人来问:Agent 自己在线上做出了异常行为,需要一套不同于客服的事故响应。
下一节从定级、止损、通报与复盘四个动作讲起。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。