以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
Agent 产品很少在某一天突然失败。更常见的是:接管率先慢慢上升,团队把它解释成「用户还不熟」;使用频次再慢慢下降,团队把它解释成「这周比较忙」;最后投诉集中到同一个环节,团队才发现问题一直都在。等到投诉出现,前面至少已经浪费了一个放量周期。
早期信号的价值不在于「更早看到坏消息」,而在于「更早停止错误动作」。如果信号出现时仍在扩覆盖,后面所有的修复都会被新增流量淹没。所以本节不只列信号,还给每个信号配一个 30 天动作顺序。
三条信号线
信号不需要很多,但必须可数、可复算、能落到同一张周表上。对 Agent 产品来说,最有效的三条线是:接管率、使用频次、投诉主题分布。
| 信号 | 怎么测 | 早期形态 | 晚期形态 |
|---|---|---|---|
| 接管率上升 | 不采纳、转人工、人工重做的比例 | 从 22.0% 缓慢逼近 25.0% | 连续三周站在退出线之上 |
| 使用频次下降 | 每个活跃用户的周使用次数 | 连续三周严格下降 | 只有项目组账号仍在用 |
| 投诉集中 | 同一主题在最近投诉中的占比 | 同一环节被反复提到 | 投诉量上升且主题单一 |
三条线要一起看,不能只看一条。接管率上升但使用频次稳定,可能是用户在更谨慎地检查,不一定是产品变差;使用频次下降但投诉没有集中,可能是季节性波动;投诉集中但接管率没变,可能是某个新场景没有被评测覆盖。只有两条以上同时出现,才值得冻结放量。
这也是为什么「效果不好」不是一个可操作的信号。它没有方向,也没有阈值,无法判断该修模型、修流程还是修交互。把「效果不好」拆成接管率、频次和投诉主题,才能决定下一步由谁负责。
阈值优先复用已有退出线
新设一套监控阈值,最容易犯的错是拍脑袋。更稳的做法是复用产品已经承诺过的退出线。A Relay 的扩大阶段退出条件是采纳率不低于 75.0%,而它的当前采纳率是 78.0%。这两个数字直接给出接管率的阈值:
- 当前接管率 = 100% − 78.0% = 22.0%。
- 接管率上限 = 100% − 75.0% = 25.0%。
- 当前余量 = 25.0% − 22.0% = 3.0 个百分点。
所以 A 的接管率信号不需要另设一个「看起来合理」的数字,只需要盯住它有没有连续三周站在 25.0% 以上。3.0 个百分点的余量不算宽,这也是为什么 A 的试点只覆盖 10%、扩大只到 40%,而不是一上来全量。
使用频次没有现成的退出线,就不设百分比阈值,改看趋势:连续三周严格下降才算信号。这样做的代价是反应慢一周,好处是不会因为单周波动误停。投诉集中也不设占比阈值,改看最近一周同一主题是否出现三次以上;次数是窗口内的结构量,不是拍出来的比例。
A Relay 的一个放量周期
把三条线放到 A 的一个放量周期里,可以看到信号是怎么组合的。
试点阶段只覆盖 10% 工单,退出条件是采纳率不低于 70.0%、错误率不高于 4.0%。这个阶段的目标不是证明 Agent 多强,而是证明「人愿意看建议」。如果采纳率在试点期就贴近 70.0%,说明建议的可信度不够,不应该进入扩大阶段。
扩大阶段覆盖 40% 工单,退出条件是采纳率不低于 75.0%、错误率不高于 3.0%。A 的当前值是 78.0% 与 2.9%,都在门内,但余量很薄:采纳率只高 3.0 个百分点,错误率只低 0.1 个百分点。余量薄意味着任何一条信号都不该被解释成噪声。
如果扩大期出现「接管率连续三周不低于 25.0%」,同时「投诉集中在分错队列」,正确的动作不是继续观察,而是立即停止扩大。原因很简单:这两个信号同时出现,说明问题已经从个体判断变成系统性偏差,继续放量只会让偏差覆盖更多工单。
反过来,如果只有使用频次下降,而接管率和投诉都稳定,更可能的解释是用户在月初集中处理、月末使用减少。这时应该先拉长观察窗口,而不是直接改模型。信号的方向比信号的数量更重要。
信号出现后的 30 天
30 天不是拍出来的修复周期,而是一个放量节奏:前三天的目标是止损,接下来一周的目标是定位,剩下的时间才用于恢复。顺序不能反。
| 阶段 | 时间 | 动作 | 退出条件 |
|---|---|---|---|
| 止损 | 第 1–3 天 | 冻结放量,抽样失败对话并标注原因 | 不再新增覆盖 |
| 定位 | 第 4–10 天 | 定位到单一环节,补齐评测用例 | 能复现主要失败 |
| 恢复 | 第 11–30 天 | 小流量回归,达标才恢复放量 | 连续达标后再扩 |
如果信号已经到「停止」级别,也就是接管率与投诉集中同时出现,第一天就要停止新增覆盖,只保留只读能力;第 2–7 天逐条回放投诉,确认影响面与责任归属;第 8–30 天从影子运行重新开始。这里的「影子运行」不是保守,而是把信任重建的成本算进去:用户一旦主动降回人工,再让他们打开自动执行,比第一次上线更难。
30 天计划还要写清谁负责。接管率上升通常由产品与领域专家一起看,因为要判断是建议不对还是检查成本太高;使用频次下降由产品看,因为要判断触发场景是否消失;投诉集中由领域专家看,因为要判断对错标准是否被新场景突破。没有责任人的信号,最后都会变成周报里的一条脚注。
把信号写成检测函数
下面这个模型把三条信号线写成可运行的检测:接管率看连续三周是否越过退出线,使用频次看连续三周是否严格下降,投诉看最近一周同一主题是否出现三次以上。阈值只复用事实表里的数字。
// file: src/scale/11-2-early-signals.ts
// tier: L2
// verify: node --test test/scale/11-2-early-signals.test.ts
// 早期信号不是「效果变差」这种形容词,而是三条可数曲线:
// 接管率上升、使用频次下降、投诉集中在同一处。
// 阈值尽量复用事实表已有的退出线,不另外发明一套。
import { RELAY } from "../cases.ts";
import { FULL, formatBps } from "../core/rate.ts";
export type SignalKind = "handoff-up" | "usage-down" | "complaints-clustered";
export const SIGNAL_ORDER: readonly SignalKind[] = [
"handoff-up",
"usage-down",
"complaints-clustered",
];
export const SIGNAL_LABEL: Record<SignalKind, string> = {
"handoff-up": "接管率上升",
"usage-down": "使用频次下降",
"complaints-clustered": "投诉集中在同一处",
};
// A 的采纳率 78.0%,扩大阶段退出线 75.0%,
// 所以接管率上限是 25.0%:100% 减去事实表里的 75.0%。
export const ADOPTION_BPS = 7_800;
export const HANDOFF_BPS = FULL - ADOPTION_BPS;
export const HANDOFF_CEILING_BPS = FULL - 7_500;
// A 当前接管率 22.0%,离 25.0% 的线只剩 3.0 个百分点。
export const A_HEADROOM_BPS = HANDOFF_CEILING_BPS - HANDOFF_BPS;
export type WeekPoint = {
readonly week: number;
readonly adoptionBps: number;
readonly usage: number;
readonly complaints: readonly string[];
};
export type Signal = {
readonly kind: SignalKind;
readonly week: number;
readonly evidence: string;
};
function handoffOf(point: WeekPoint): number {
return FULL - point.adoptionBps;
}
// 连续三周接管率不低于 25.0% 才算趋势,不用单周波动下结论。
export function handoffSignal(points: readonly WeekPoint[]): Signal | null {
if (points.length < 3) return null;
const tail = points.slice(-3);
if (tail.every((point) => handoffOf(point) >= HANDOFF_CEILING_BPS)) {
const last = tail[tail.length - 1];
return {
kind: "handoff-up",
week: last.week,
evidence: `连续 3 周接管率不低于 ${formatBps(HANDOFF_CEILING_BPS)}`,
};
}
return null;
}
// 连续三周使用次数严格下降才算「频次下降」。
export function usageSignal(points: readonly WeekPoint[]): Signal | null {
if (points.length < 3) return null;
const tail = points.slice(-3);
const falling = tail.every(
(point, index) => index === 0 || point.usage < tail[index - 1].usage,
);
if (!falling) return null;
const last = tail[tail.length - 1];
return {
kind: "usage-down",
week: last.week,
evidence: `使用次数从 ${tail[0].usage} 降到 ${last.usage}`,
};
}
// 最近一周的投诉里,同一主题出现三次以上,视为集中。
export function complaintSignal(points: readonly WeekPoint[]): Signal | null {
if (points.length === 0) return null;
const last = points[points.length - 1];
if (last.complaints.length < 3) return null;
const counts = new Map<string, number>();
for (const topic of last.complaints) {
counts.set(topic, (counts.get(topic) ?? 0) + 1);
}
for (const [topic, count] of counts) {
if (count >= 3) {
return {
kind: "complaints-clustered",
week: last.week,
evidence: `最近 ${last.complaints.length} 条投诉中 ${count} 条指向「${topic}」`,
};
}
}
return null;
}
export function detect(points: readonly WeekPoint[]): Signal[] {
return [
handoffSignal(points),
usageSignal(points),
complaintSignal(points),
].filter((signal): signal is Signal => signal !== null);
}
export type Severity = "none" | "watch" | "act" | "stop";
export function severity(signals: readonly Signal[]): Severity {
const kinds = new Set(signals.map((signal) => signal.kind));
if (kinds.has("handoff-up") && kinds.has("complaints-clustered")) {
return "stop";
}
if (kinds.size >= 2) return "act";
if (kinds.size === 1) return "watch";
return "none";
}
export type ResponseStep = {
readonly fromDay: number;
readonly toDay: number;
readonly action: string;
};
// 信号出现后的 30 天:先止损,再定位,最后才是恢复放量。
export function responsePlan(level: Severity): readonly ResponseStep[] {
if (level === "none") return [];
if (level === "watch") {
return [
{
fromDay: 1,
toDay: 7,
action: "拉出同口径的周曲线,排除统计口径变化",
},
{
fromDay: 8,
toDay: 30,
action: "每周复盘一次,不扩大覆盖",
},
];
}
if (level === "act") {
return [
{
fromDay: 1,
toDay: 3,
action: "冻结放量,抽样失败对话并标注原因",
},
{
fromDay: 4,
toDay: 10,
action: "定位到单一环节,补齐评测用例",
},
{
fromDay: 11,
toDay: 30,
action: "小流量回归,达标才恢复放量",
},
];
}
return [
{
fromDay: 1,
toDay: 1,
action: "停止新增覆盖,保留只读能力",
},
{
fromDay: 2,
toDay: 7,
action: "逐条回放投诉,确认影响面与责任归属",
},
{
fromDay: 8,
toDay: 30,
action: "修复后从影子运行重新开始",
},
];
}
export type CaseBaseline = {
readonly key: "A";
readonly profile: typeof RELAY;
readonly adoptionBps: number;
readonly handoffBps: number;
readonly headroomBps: number;
};
export function caseBaseline(): CaseBaseline {
return {
key: "A",
profile: RELAY,
adoptionBps: ADOPTION_BPS,
handoffBps: HANDOFF_BPS,
headroomBps: A_HEADROOM_BPS,
};
}
export function describeSignals(signals: readonly Signal[]): string {
if (signals.length === 0) return "无早期信号";
return signals.map((signal) => SIGNAL_LABEL[signal.kind]).join("、");
}
handoffSignal 把采纳率换算成接管率,再做连续三周判断。它没有引入新的阈值:25.0% 就是 100% 减去 A 的 75.0% 扩大退出线。usageSignal 不设百分比,只看连续三周是否严格下降,避免单周波动触发误停。complaintSignal 只看最近一周,同一主题出现三次以上才算集中。
severity 把信号组合成四个级别。只有一条信号是 watch,两条是 act,接管率与投诉集中同时出现是 stop。这个分级不是为了精确,而是为了把「再看一周」和「今天就停」分开。很多团队的问题不是没有信号,而是所有信号都被归到「再看一周」。
responsePlan 把级别翻译成 30 天动作。watch 只做同口径复核,不扩大覆盖;act 先冻结放量,再定位,最后小流量回归;stop 第一天就停止新增覆盖,从影子运行重新开始。模型不判断「谁对谁错」,只保证动作顺序不会颠倒。
信号之外的两条边界
第一条边界:信号只能说明「发生了变化」,不能说明「变化由谁造成」。接管率上升可能是建议变差,也可能是用户变谨慎,还可能是上游工单质量下降。检测函数的输出是调查起点,不是责任认定。
第二条边界:信号阈值要跟着阶段走。A 在试点期看 70.0%,在扩大期看 75.0%;同一个 78.0%,在小流量阶段是余量充足,在全量阶段只是刚好过线。把不同阶段的阈值混在一张看板上,会让团队在错误的时间做正确的动作。
小结
- 三条早期信号:接管率上升、使用频次下降、投诉集中在同一处。
- 接管率阈值复用 A 的退出线:100% − 75.0% = 25.0%,当前 22.0%,余量 3.0 个百分点。
- 使用频次看连续三周严格下降,不设拍脑袋的百分比阈值。
- 投诉集中看最近一周同一主题出现三次以上,次数是窗口结构量。
- 两条以上信号同时出现才冻结放量;接管率加投诉集中是停止级别。
- 信号出现后的 30 天按止损、定位、恢复排序,顺序不能反。
- 信号只说明变化,不说明责任;阈值要跟着试点、扩大、全量三个阶段走。
阅读导航:上一节:11.1 七种死法 · 下一节:11.3 复盘怎么写才有用 。
常见错误与边界
- 只看一条信号就下结论。 单条信号可能是波动或口径变化;两条以上同时出现才值得冻结放量,否则会频繁误停。
- 给使用频次硬设百分比阈值。 频次受季节、月初月末和上游流量影响,趋势比阈值稳;连续三周下降已经足够触发调查。
- 把投诉量当成投诉集中。 量大不等于集中;要看同一主题在最近投诉中的重复次数,否则会修错环节。
- 信号出现后继续扩覆盖。 新增流量会淹没修复效果,也会放大影响面;止损必须先于定位。
- 30 天计划没有责任人。 接管率、频次、投诉分别对应产品、领域专家和交付负责人;没有责任人的信号不会变成动作。
- 把检测结果当责任认定。 检测函数只回答「哪条线越界」,不回答「谁造成」;责任判断要回到输入、规则和动作记录。
这一节回答「怎么更早发现」。下一节回答更难的问题:事情已经发生,复盘怎么写才能让下一个团队少踩一次。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。