以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。指标口径、护栏阈值与分群方式均为教学设定值。
《潮汐消消》的陪伴 Agent 上线一个月,D1 留存从 35% 涨到 37%,同时客服投诉量涨了四成。周会上两个团队各拿一半数据:一方说 Agent 有效,另一方说 Agent 扰民。
两个说法都只对一半。留存涨了是真的,投诉涨了也是真的;问题在于没有人把两个指标放在同一个口径下比较,也没有人规定「涨到什么程度算问题」。
这一节讲体验指标:三个互不替代的指标、各自的口径、护栏与目标的区别,以及为什么必须分群看。
三个指标回答三个问题
留存、会话与投诉不是同一件事的三个侧面,而是三个不同的问题:
| 指标 | 回答的问题 | 变化太慢的后果 |
|---|---|---|
| 留存 | 玩家明天还愿不愿意回来 | 短期改动无法验证 |
| 会话 | 玩家一次玩多久、玩几局 | 掩盖「玩得久但不开心」 |
| 投诉 | 玩家有多不满到愿意表达 | 沉默流失无法发现 |
三个指标要一起看,因为任意一个都可以被单独优化到失真:
- 只看留存,可以用强制签到把数字做高,玩家体验更差。
- 只看会话,可以用重复劳动拉长时间,玩家更容易厌倦。
- 只看投诉,可以把投诉入口藏起来,数字立刻变好。
三指标并列,才构成一个不容易被单点优化的观测面。
留存看趋势,不看单点
留存的两个常用口径是 D1 与 D7:
- D1。 今天新增的玩家,明天回来的比例。
- D7。 今天新增的玩家,第七天回来的比例。
D1 对短期改动敏感,适合验证 Agent 是否影响次日回访;D7 对长期价值更敏感,适合验证关系与记忆是否真的留住人。两个口径不能互相替代。
留存要按 cohort 看,不能只看总体。总体留存会被新增结构影响:买量带来的低质量用户变多,总体 D1 会下降,即使每个既有 cohort 都在变好。
cohort 还要看样本量。一天新增五百人的 cohort,D1 的置信区间很宽,涨跌两个百分点可能只是噪声。样本太小的 cohort 不应该进入结论。
趋势比单点重要。一个版本让 D1 涨了 0.3 个百分点,单看是好事;如果前三个版本都在跌,这个 0.3 可能只是反弹。判断要放在至少四周的窗口里。
会话看结构,不只看时长
会话指标常被简化成「平均时长」,但平均时长会掩盖结构变化:
- 场次变多、单场变短,平均时长可能不变。
- Agent 介入后,玩家在赛后多停留两分钟看点评,平均时长涨了,但玩的局数没变。
- 玩家因为卡关反复重试,时长涨了,体验却更差。
所以会话至少要拆成三个数:日均场次、单场时长、Agent 交互时长。三者分开,才能判断时长变化来自「玩得更多」还是「停得更久」。
Agent 交互时长要单独计。它不属于核心玩法时长,把它混进去会让「Agent 提升了参与度」这个结论无法验证。
会话指标还要看分布,不只看均值。少数玩家一天玩二十局,会把均值拉高;中位数与分位数更能代表多数人的体验。
投诉按万次会话折算
投诉量随规模变化,绝对值无法跨产品比较。折算成「每万次会话的投诉数」才能横向看。
教学设定的护栏是每万次会话五十条,即 0.5%。这个数字来自 8.3 的刹车信号阈值,两处共用同一口径,避免「指标看 0.5%、刹车看 1%」的混乱。
投诉要分类,不只看总量:
- 内容投诉。 Agent 说了不该说的话,或生成了不合适的剧情。
- 公平投诉。 AI 对手做了玩家做不到的事,或付费影响了匹配。
- 服务投诉。 客服响应慢、补偿不到位。
三类投诉的处理团队不同,混在一起会让「投诉涨了」无法分派。分类之后,内容投诉归内容团队,公平投诉归玩法团队,服务投诉归运营。
投诉还要看首次响应时间。投诉量没涨但首响变慢,说明服务能力在退化,只是还没反映到数量上。
目标与护栏是两种东西
目标是可以追求也可以失败的,护栏是不能突破的:
| 类型 | 例子 | 失败后果 |
|---|---|---|
| 目标 | D1 提升 1 个百分点 | 没达到,继续迭代 |
| 护栏 | 投诉率不超过 0.5% | 突破,立即回滚或降级 |
把护栏当目标,团队会为了「投诉率再低一点」而隐藏入口;把目标当护栏,一次没达标就回滚,永远做不成长期改进。
护栏要少。三个以内足够:投诉率、留存回落、会话变化。护栏太多等于没有护栏,因为任何改动都会碰到其中一条。
护栏要提前写死,不能事后补。上线后发现投诉涨了,再临时定一个「涨 40% 算异常」的标准,本质是给已经发生的结果找解释。
必须分群看
总体指标会掩盖分群差异。至少按四个维度分:
- 新老玩家。 新玩家对 Agent 的好奇可能拉高会话,老玩家可能因为变化而流失。
- 付费与非付费。 付费玩家对公平更敏感,非付费玩家对广告更敏感。
- 平台。 Android 与 iOS 的设备性能、支付习惯不同。
- Agent 使用与否。 用过 Agent 的玩家与没用过的玩家,留存不可直接比较,因为存在自选择偏差。
最后一组尤其容易出错。用过 Agent 的玩家留存更高,不代表 Agent 带来了留存;愿意用 Agent 的人本来就更活跃。要回答因果问题,需要 11.3 的实验设计。
分群之后样本会变小,置信区间会变宽。分群结论要标注样本量,避免用两百人的差异下结论。
把体验指标写成可运行判定
下面的实现把留存、投诉折算、Agent 占比、三护栏判定与汇总结论写成纯函数。
// file: src/metrics/experience.ts
// tier: L1
// verify: node --test test/metrics/experience.test.ts
// 体验指标不是一张看板,而是一组护栏:涨了要知道为什么涨,跌了要能立刻停。
// 留存看趋势,投诉看分位,会话看结构——三个指标不能互相替代。
export type Cohort = {
readonly users: number;
readonly retainedD1: number;
readonly sessions: number;
readonly complaints: number;
readonly agentSessions: number;
};
export type Baseline = {
readonly d1: number;
readonly complaintsPer10k: number;
readonly sessionMinutes: number;
};
// 教学设定:投诉率 0.5%、D1 回落 1 个百分点、会话时长变化 10%。
export const GUARDRAILS = {
maxComplaintsPer10k: 50,
maxRetentionDropPp: 1,
maxSessionChangePct: 0.1,
} as const;
export function d1Retention(cohort: Cohort): number {
return cohort.users === 0 ? 0 : cohort.retainedD1 / cohort.users;
}
export function complaintsPer10k(cohort: Cohort): number {
return cohort.sessions === 0 ? 0 : (cohort.complaints / cohort.sessions) * 10_000;
}
export function agentShare(cohort: Cohort): number {
return cohort.sessions === 0 ? 0 : cohort.agentSessions / cohort.sessions;
}
export type CheckStatus = "ok" | "warn" | "breach";
export type Check = {
readonly name: string;
readonly actual: number;
readonly limit: number;
readonly status: CheckStatus;
};
function graded(actual: number, limit: number): CheckStatus {
if (actual <= limit) return "ok";
if (actual <= limit * 2) return "warn";
return "breach";
}
// 三个护栏各自独立判定:任一指标突破两倍阈值就停,不能靠另外两个指标好看抵消。
export function guardrails(
cohort: Cohort,
baseline: Baseline,
sessionMinutes: number,
): Check[] {
const retentionDropPp = (baseline.d1 - d1Retention(cohort)) * 100;
const sessionChange = baseline.sessionMinutes === 0
? 0
: Math.abs(sessionMinutes - baseline.sessionMinutes) / baseline.sessionMinutes;
return [
{
name: "complaints-per-10k",
actual: complaintsPer10k(cohort),
limit: GUARDRAILS.maxComplaintsPer10k,
status: graded(complaintsPer10k(cohort), GUARDRAILS.maxComplaintsPer10k),
},
{
name: "retention-drop-pp",
actual: retentionDropPp,
limit: GUARDRAILS.maxRetentionDropPp,
status: graded(retentionDropPp, GUARDRAILS.maxRetentionDropPp),
},
{
name: "session-change",
actual: sessionChange,
limit: GUARDRAILS.maxSessionChangePct,
status: graded(sessionChange, GUARDRAILS.maxSessionChangePct),
},
];
}
// 汇总只看最差的一项:一个 breach 足以停,一个 warn 只够进观察名单。
export function verdict(checks: readonly Check[]): "pass" | "watch" | "stop" {
if (checks.some((check) => check.status === "breach")) return "stop";
if (checks.some((check) => check.status === "warn")) return "watch";
return "pass";
}
d1Retention 与 complaintsPer10k 都在分母为零时返回 0。返回 0 而不是抛错,是因为新服或新版本第一天可能没有会话,指标系统不应该因此崩溃。
complaintsPer10k 用会话做分母而不是用户。同一批用户可能产生多次会话,按会话折算更能反映「每一次接触的投诉概率」。
graded 用两倍阈值划分三档:限内、限到两倍、两倍以上。两倍这个倍数来自 8.3 的刹车逻辑,保持全书一致。
guardrails 里留存与会话都先算「变化量」再判定:留存算回落百分点,会话算绝对变化比例。两者方向不同——留存怕跌,会话怕偏——所以不能共用同一个符号判断。
verdict 只看最差的一项。一个 breach 足以停,一个 warn 只够进观察;不做加权平均,因为加权会让一个严重问题被两个正常指标稀释。
GUARDRAILS 用 as const,让阈值在类型层就是字面量。调用方不能把它改成运行时变量,避免某个模块「临时」放宽标准。
口径文档写五件事
指标争议多半来自口径不一致。每个指标至少写清五件事:
- 分母。 是用户、会话还是场次。
- 时间窗。 自然日、滚动七天还是版本周期。
- 去重规则。 同一玩家多次投诉算一条还是多条。
- 排除项。 测试账号、内部账号、机器人是否排除。
- 数据延迟。 当天数据什么时候完整,避免用未完整数据下结论。
五件事缺一件,两个团队就会算出两个数。算不出同一个数,讨论就会变成立场之争。
口径变更要版本化。把「投诉率」的分母从用户改成会话,历史数据不可直接比较,必须标注断点。
方舟的对照:赛季口径
《潮汐方舟》的赛季是九十天,留存与投诉都要按赛季看。赛季初新玩家涌入,D1 会被拉高;赛季末老玩家流失,投诉会集中出现。按自然月看会得出相反结论。
方舟还要单独看「赛季留存」:玩家是否在下一个赛季回来。这个指标比 D7 更能反映长线关系,但周期太长,不能替代短期指标。
两个案例的共同点是:口径必须跟产品节奏对齐。消消按周看,方舟按赛季看,不能拿同一张报表套两个产品。
小结
- 留存、会话、投诉回答三个不同问题,任意一个都能被单独优化到失真。
- 留存按 cohort 看趋势,至少四周窗口,样本太小的 cohort 不进结论。
- 会话拆成场次、单场时长与 Agent 交互时长,避免均值掩盖结构。
- 投诉按每万次会话折算,护栏 0.5%,与刹车阈值共用口径。
- 投诉要分类到内容、公平、服务,否则无法分派。
- 目标是可失败的,护栏是不可突破的,护栏最多三条并提前写死。
- 至少按新老、付费、平台、Agent 使用四维分群,分群结论标注样本量。
- 用过 Agent 的玩家留存更高不代表因果,因果问题交给实验。
- 口径文档写清分母、时间窗、去重、排除项与数据延迟五件事。
- 消消按周看,方舟按赛季看,口径跟产品节奏对齐。
阅读导航:上一节:10.3 Agent 行为异常的事故响应 · 下一节:11.2 单位玩家 Agent 成本 。
常见错误与边界
- 只看总体留存。 新增结构变化会掩盖每个 cohort 的真实趋势。
- 用平均时长代表体验。 卡关重试与赛后停留都会拉长时间,含义完全相反。
- 投诉看绝对值。 规模不同的产品无法比较,也无法判断是否随增长同步恶化。
- 把护栏当目标。 为了压低投诉率隐藏入口,指标变好、体验变差。
- 用使用者的留存证明 Agent 有效。 愿意用的人本来就更活跃,存在自选择偏差。
- 口径没有文档。 两个团队算出两个数,讨论变成立场之争。
体验指标回答「有没有变好」,但没有回答「值不值」。同一个留存提升,可能花掉了十倍成本,也可能省下了一半成本。
下一节把 Agent 成本拆到单位玩家、单场与单次调用三个口径。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。