以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
上线之后,团队会同时收到三类反馈:用户点的赞踩与评分、用户在界面上的行为、用户通过客服或公开渠道的投诉。三类反馈都叫「反馈」,但它们回答的不是同一个问题,可信度也不同。
这一节先拆开三类反馈的采集点与偏差,再说明为什么不能把它们加成一个「用户满意度」分数。结论先给:显式评分回答「谁愿意说」,隐式行为回答「实际发生了什么」,投诉回答「哪里已经严重到不能忍」。
三类反馈回答不同问题
| 类型 | 采集点 | 时延 | 覆盖面 | 主要偏差 |
|---|---|---|---|---|
| 显式 | 赞踩、星级、可选评论 | 立刻 | 自愿样本 | 只有愿意打分的人发声,极端体验占比过高 |
| 隐式 | 采纳、修改、重试、放弃、复制、转人工 | 分钟级 | 全量行为 | 行为有歧义,修改可能是纠错也可能是个性化 |
| 投诉 | 工单升级、客服投诉、公开渠道 | 小时到天 | 极少数事件 | 只有影响足够大的问题才会被投诉 |
三类反馈的时延差异很大。显式评分在结果页就能收集,隐式行为在任务完成后几分钟内产生,投诉往往要等用户找到客服、描述问题、升级工单,已经是几小时甚至几天之后。
时延决定了用途:显式评分可以当天看,适合发现体验问题;隐式行为可以按周聚合,适合发现摩擦;投诉必须按事件处理,不能等到月底做趋势分析。
显式评分:稀少且有偏
显式评分最大的问题不是「用户不诚实」,而是「样本不是随机的」。愿意打分的人通常有两类:体验特别好的人,和体验特别差的人。中间的大多数用户不打分。
这带来两个后果:
- 比例不可信:10 条评分里 6 条好评,不代表 60% 的用户满意;它只代表「在这 10 个愿意打分的人里,6 个给了好评」。
- 变化不敏感:评分从 4.2 掉到 4.1,可能只是几个极端用户改变了评分,也可能是整体体验下降;单看评分无法区分。
A Relay 的 78% 采纳率不是评分,而是行为数据:26,400 个工单里,78% 的建议被人直接采纳,22% 被人修改。这个数字比评分可靠,因为它覆盖了全部工单,不是自愿样本。但它回答的是「建议有没有被接受」,不是「用户喜不喜欢这个产品」。
B Quill 的 63% 一次采纳率也是行为数据:63% 的报告初稿无需重写,28% 小改,9% 返工。它同样不是满意度,而是「初稿距离可发布有多远」。
显式评分仍然有用,但用途是发现个案,不是估计总体。看到一条低分评论,应该去查那个任务发生了什么;看到评分均值下降,不能直接推断整体质量下降。
隐式行为:量大,但有歧义
隐式行为是 Agent 产品最有价值的反馈来源,因为它是全量的、不需要用户额外操作。常见的隐式信号包括:
| 行为 | 可能的含义 | 不能直接推断什么 |
|---|---|---|
| 修改建议 | 建议有错,或用户想个性化 | 不能直接算作错误 |
| 重新生成 | 第一次结果不可用 | 不能区分是质量问题还是用户改主意 |
| 复制内容 | 结果被采用 | 不能证明结果正确 |
| 放弃任务 | 体验太差,或用户不需要了 | 不能直接算作失败 |
| 转人工 | Agent 能力不足,或风险太高 | 不能直接算作错误 |
C Runner 的自动完成率是 78%,22% 转人工。22% 里有一部分是 Agent 能力不足,也有一部分是任务本身风险太高、规则要求转人工。把 22% 全部当成「Agent 错误」会高估问题;把它全部当成「正常转人工」会低估问题。
B Quill 的返工率 9% 是更明确的隐式信号:返工意味着改动超过 50%,已经不能用「个性化」解释。但 9% 仍然不等于「9% 的报告有事实错误」;事实错误率是另一个指标,4.6%。返工率和事实错误率要分开看,前者衡量工作量,后者衡量正确性。
隐式行为的用法是找摩擦点:哪个环节的修改率突然上升,哪个队列的转人工率异常,哪类任务的重新生成次数变多。它是线索,不是判决。
投诉:强烈,但滞后
投诉是三类反馈里信号最强、样本最少的。一条投诉通常意味着问题已经严重到用户愿意花时间描述它。但投诉有三个局限:
- 滞后:用户要先意识到问题,再找到投诉入口,再等到处理。等投诉进入系统,问题可能已经影响了一批用户。
- 幸存者偏差:愿意投诉的是少数;大量用户遇到问题后直接离开,不会投诉。
- 不可比例化:一条投诉不能除以任务量变成「投诉率」,因为投诉的触发门槛不是随机的。
C Runner 的不可回滚错误率是 0.238%,来自 1.7% 的审计错误率乘以 14% 的不可回滚比例。投诉往往集中在这类不可回滚、客户可见的错误上。产品不能等投诉来发现 0.238% 的问题;投诉是事后信号,审计才是事前信号。
投诉的正确用法是触发调查:一条投诉出现,就去查对应的任务、规则、快照和人工复核记录。不要用投诉数量估计整体错误率,也不要用「本月投诉比上月少」证明质量变好。
三种信号不能平均
很多团队会做一个「综合满意度」:评分占 40%,采纳率占 40%,投诉占 20%。这个做法看起来全面,实际把三种不可比的东西加在了一起。
| 信号 | 回答的问题 | 适合的动作 | 不适合的动作 |
|---|---|---|---|
| 显式评分 | 谁愿意说,说了什么 | 发现个案、追踪体验 | 估计总体满意度 |
| 隐式行为 | 实际发生了什么 | 找摩擦、定优先级 | 直接判定对错 |
| 投诉 | 哪里已经不能忍 | 触发调查、补偿 | 计算投诉率 |
三种信号应该分别设阈值、分别路由:
- 显式评分低于某个值,触发产品体验复盘,不触发质量回滚。
- 隐式行为出现连续异常,触发质量调查,不直接触发客户补偿。
- 投诉出现,触发事件流程,同时检查是否有同类任务受影响。
把它们平均成一个分数,会让每一种信号都失去原有的动作含义。
把反馈分层写成可执行模型
下面的模型把三类反馈的采集点、覆盖率、负向率、代表性和调查触发放在一起。它不输出「满意度」,只输出「这个信号能不能当比例用、应该触发什么动作」。
// file: src/trust/12-1-feedback-types.ts
// tier: L2
// verify: node --test test/trust/12-1-feedback-types.test.ts
// 三种反馈的可信度不同:显式评分稀少且自选,隐式行为量大但噪声多,
// 投诉强烈但滞后。质量运营要按采集点分别解释,不能把它们加成一个总分。
import { divide, type Bps } from "../core/rate.ts";
export type FeedbackKind = "explicit" | "implicit" | "complaint";
export type Signal = "positive" | "neutral" | "negative";
export type FeedbackEvent = {
readonly kind: FeedbackKind;
readonly taskId: string;
readonly signal: Signal;
readonly at: string;
};
export type CollectionPoint = {
readonly kind: FeedbackKind;
readonly where: string;
readonly latencyHours: number;
readonly coverage: "sample" | "all" | "rare";
readonly bias: string;
};
export const COLLECTION_POINTS: Record<FeedbackKind, CollectionPoint> = {
explicit: {
kind: "explicit",
where: "结果页的赞踩、星级评分与可选评论",
latencyHours: 0,
coverage: "sample",
bias: "只有愿意打分的人发声,满意与不满意的极端用户占比过高",
},
implicit: {
kind: "implicit",
where: "采纳、修改、重试、放弃、复制、转人工",
latencyHours: 1,
coverage: "all",
bias: "行为有歧义:修改可能是纠错,也可能只是个性化",
},
complaint: {
kind: "complaint",
where: "工单升级、客服投诉、公开渠道",
latencyHours: 72,
coverage: "rare",
bias: "只有影响足够大的问题才会被投诉,不能代表整体错误率",
},
};
export function countByKind(
events: readonly FeedbackEvent[],
): Record<FeedbackKind, number> {
return {
explicit: events.filter((event) => event.kind === "explicit").length,
implicit: events.filter((event) => event.kind === "implicit").length,
complaint: events.filter((event) => event.kind === "complaint").length,
};
}
export function negativeRate(
events: readonly FeedbackEvent[],
kind: FeedbackKind,
): Bps {
const subset = events.filter((event) => event.kind === kind);
return divide(
subset.filter((event) => event.signal === "negative").length,
subset.length,
);
}
// 显式评分要覆盖到一定比例才能当总体估计;投诉永远只当事件,不当比例。
export function representative(kind: FeedbackKind, coverageBps: Bps): boolean {
if (kind === "complaint") return false;
if (kind === "explicit") return coverageBps >= 3_000;
return coverageBps >= 8_000;
}
export type FeedbackSummary = {
readonly totalTasks: number;
readonly counts: Record<FeedbackKind, number>;
readonly coverage: Record<FeedbackKind, Bps>;
readonly negative: Record<FeedbackKind, Bps>;
readonly representative: Record<FeedbackKind, boolean>;
readonly investigate: boolean;
};
// 投诉出现一次就要调查;隐式负向连续出现也要调查。
export function shouldInvestigate(
events: readonly FeedbackEvent[],
implicitRunLength = 3,
): boolean {
const complaints = events.some((event) => event.kind === "complaint");
let run = 0;
let implicitRun = false;
for (const event of events) {
if (event.kind === "implicit" && event.signal === "negative") {
run += 1;
if (run >= implicitRunLength) implicitRun = true;
} else if (event.kind === "implicit") {
run = 0;
}
}
return complaints || implicitRun;
}
export function summarize(
events: readonly FeedbackEvent[],
totalTasks: number,
): FeedbackSummary {
const counts = countByKind(events);
const coverage: Record<FeedbackKind, Bps> = {
explicit: divide(counts.explicit, totalTasks),
implicit: divide(counts.implicit, totalTasks),
complaint: divide(counts.complaint, totalTasks),
};
const negative: Record<FeedbackKind, Bps> = {
explicit: negativeRate(events, "explicit"),
implicit: negativeRate(events, "implicit"),
complaint: negativeRate(events, "complaint"),
};
return {
totalTasks,
counts,
coverage,
negative,
representative: {
explicit: representative("explicit", coverage.explicit),
implicit: representative("implicit", coverage.implicit),
complaint: false,
},
investigate: shouldInvestigate(events),
};
}
export type FeedbackDecision = {
readonly useAsRate: boolean;
readonly action: "monitor" | "investigate" | "satisfaction";
};
// 三种反馈对应三种动作,不合并成一个「用户满意度」分数。
export function decideUsage(summary: FeedbackSummary): FeedbackDecision {
if (summary.investigate) {
return { useAsRate: false, action: "investigate" };
}
if (summary.representative.implicit) {
return { useAsRate: true, action: "monitor" };
}
if (summary.representative.explicit) {
return { useAsRate: true, action: "satisfaction" };
}
return { useAsRate: false, action: "monitor" };
}
模型里 representative 的门槛是显式 30%、隐式 80%。这两个数字是模型假设,不是行业标准;团队可以按自己的采样能力调整。关键是把它写下来,让「这个评分能不能代表总体」变成一个可以回答的问题。
shouldInvestigate 把投诉和连续负向行为分开处理:投诉一条就调查,隐式负向要连续三条才调查。这样既不会因为一条投诉把整个产品判死,也不会忽略连续出现的摩擦信号。
一条可操作的判据
面对一条反馈,先问三个问题:
- 它覆盖了多少任务?覆盖不足的反馈只能当个案。
- 它的采集点有没有选择偏差?自愿评分和全量行为不能直接比。
- 它应该触发什么动作?体验复盘、质量调查、事件流程,三者不同。
三个问题答完,再决定要不要把它放进周报。答不完的反馈,先留在原始记录里,不要急着汇总成比率。
小结
- 显式评分回答「谁愿意说」,隐式行为回答「实际发生了什么」,投诉回答「哪里已经不能忍」。
- 显式评分稀少且自选,比例不可信,变化不敏感;用途是发现个案,不是估计总体。
- 隐式行为覆盖全量但有歧义;修改、重试、放弃、转人工都只是线索,不是判决。
- 投诉强烈但滞后,且不可比例化;用途是触发调查和补偿,不是计算投诉率。
- A 的 78% 采纳率、B 的 63% 一次采纳与 9% 返工、C 的 78% 自动完成率都是行为数据,不是满意度。
- 三种反馈不能平均成一个分数;分别设阈值、分别路由,才能保留动作含义。
- 判据是三个问题:覆盖多少任务、采集点有没有偏差、应该触发什么动作。
阅读导航:上一节:11.3 aia-lab:放量曲线与回滚阈值 · 下一节:12.2 抽检与人工评审 。
常见错误与边界
- 把评分均值当满意度。 愿意打分的人是自选样本,均值只代表这些人;要估计总体,先看覆盖率。
- 把修改率当错误率。 修改可能是纠错,也可能是个性化;B 的 9% 返工率和 4.6% 事实错误率是两个指标。
- 把转人工率当失败率。 C 的 22% 转人工里有一部分是规则要求,不全是 Agent 能力不足。
- 用投诉数量算投诉率。 投诉的触发门槛不是随机的,数量不能除以任务量变成比例。
- 把三种反馈平均成总分。 平均会让每种信号失去动作含义;显式、隐式、投诉要分别路由。
- 只看负向,不看覆盖。 一条负向反馈在 10 个任务里和在 10,000 个任务里,含义完全不同。
下一节讲抽检与人工评审:抽多少、谁抽、抽到什么算不合格。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。