《AI Agent 游戏产品开发》11.1 体验指标:留存、会话与投诉

Agent 上线后留存涨了两个百分点,投诉也涨了,这到底是变好还是变坏?本节把体验拆成留存、会话与投诉三个互不替代的指标,给出每万次会话折算、D1 回落 1 个百分点与会话变化 10% 的护栏口径,并说明目标与护栏的区别、为什么要分群看,以及口径文档必须写清的五件事。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。指标口径、护栏阈值与分群方式均为教学设定值。

《潮汐消消》的陪伴 Agent 上线一个月,D1 留存从 35% 涨到 37%,同时客服投诉量涨了四成。周会上两个团队各拿一半数据:一方说 Agent 有效,另一方说 Agent 扰民。

两个说法都只对一半。留存涨了是真的,投诉涨了也是真的;问题在于没有人把两个指标放在同一个口径下比较,也没有人规定「涨到什么程度算问题」。

这一节讲体验指标:三个互不替代的指标、各自的口径、护栏与目标的区别,以及为什么必须分群看。

三个指标回答三个问题

留存、会话与投诉不是同一件事的三个侧面,而是三个不同的问题:

指标回答的问题变化太慢的后果
留存玩家明天还愿不愿意回来短期改动无法验证
会话玩家一次玩多久、玩几局掩盖「玩得久但不开心」
投诉玩家有多不满到愿意表达沉默流失无法发现

三个指标要一起看,因为任意一个都可以被单独优化到失真:

  • 只看留存,可以用强制签到把数字做高,玩家体验更差。
  • 只看会话,可以用重复劳动拉长时间,玩家更容易厌倦。
  • 只看投诉,可以把投诉入口藏起来,数字立刻变好。

三指标并列,才构成一个不容易被单点优化的观测面。

留存看趋势,不看单点

留存的两个常用口径是 D1 与 D7:

  • D1。 今天新增的玩家,明天回来的比例。
  • D7。 今天新增的玩家,第七天回来的比例。

D1 对短期改动敏感,适合验证 Agent 是否影响次日回访;D7 对长期价值更敏感,适合验证关系与记忆是否真的留住人。两个口径不能互相替代。

留存要按 cohort 看,不能只看总体。总体留存会被新增结构影响:买量带来的低质量用户变多,总体 D1 会下降,即使每个既有 cohort 都在变好。

cohort 还要看样本量。一天新增五百人的 cohort,D1 的置信区间很宽,涨跌两个百分点可能只是噪声。样本太小的 cohort 不应该进入结论。

趋势比单点重要。一个版本让 D1 涨了 0.3 个百分点,单看是好事;如果前三个版本都在跌,这个 0.3 可能只是反弹。判断要放在至少四周的窗口里。

会话看结构,不只看时长

会话指标常被简化成「平均时长」,但平均时长会掩盖结构变化:

  • 场次变多、单场变短,平均时长可能不变。
  • Agent 介入后,玩家在赛后多停留两分钟看点评,平均时长涨了,但玩的局数没变。
  • 玩家因为卡关反复重试,时长涨了,体验却更差。

所以会话至少要拆成三个数:日均场次、单场时长、Agent 交互时长。三者分开,才能判断时长变化来自「玩得更多」还是「停得更久」。

Agent 交互时长要单独计。它不属于核心玩法时长,把它混进去会让「Agent 提升了参与度」这个结论无法验证。

会话指标还要看分布,不只看均值。少数玩家一天玩二十局,会把均值拉高;中位数与分位数更能代表多数人的体验。

投诉按万次会话折算

投诉量随规模变化,绝对值无法跨产品比较。折算成「每万次会话的投诉数」才能横向看。

教学设定的护栏是每万次会话五十条,即 0.5%。这个数字来自 8.3 的刹车信号阈值,两处共用同一口径,避免「指标看 0.5%、刹车看 1%」的混乱。

投诉要分类,不只看总量:

  • 内容投诉。 Agent 说了不该说的话,或生成了不合适的剧情。
  • 公平投诉。 AI 对手做了玩家做不到的事,或付费影响了匹配。
  • 服务投诉。 客服响应慢、补偿不到位。

三类投诉的处理团队不同,混在一起会让「投诉涨了」无法分派。分类之后,内容投诉归内容团队,公平投诉归玩法团队,服务投诉归运营。

投诉还要看首次响应时间。投诉量没涨但首响变慢,说明服务能力在退化,只是还没反映到数量上。

目标与护栏是两种东西

目标是可以追求也可以失败的,护栏是不能突破的:

类型例子失败后果
目标D1 提升 1 个百分点没达到,继续迭代
护栏投诉率不超过 0.5%突破,立即回滚或降级

把护栏当目标,团队会为了「投诉率再低一点」而隐藏入口;把目标当护栏,一次没达标就回滚,永远做不成长期改进。

护栏要少。三个以内足够:投诉率、留存回落、会话变化。护栏太多等于没有护栏,因为任何改动都会碰到其中一条。

护栏要提前写死,不能事后补。上线后发现投诉涨了,再临时定一个「涨 40% 算异常」的标准,本质是给已经发生的结果找解释。

必须分群看

总体指标会掩盖分群差异。至少按四个维度分:

  • 新老玩家。 新玩家对 Agent 的好奇可能拉高会话,老玩家可能因为变化而流失。
  • 付费与非付费。 付费玩家对公平更敏感,非付费玩家对广告更敏感。
  • 平台。 Android 与 iOS 的设备性能、支付习惯不同。
  • Agent 使用与否。 用过 Agent 的玩家与没用过的玩家,留存不可直接比较,因为存在自选择偏差。

最后一组尤其容易出错。用过 Agent 的玩家留存更高,不代表 Agent 带来了留存;愿意用 Agent 的人本来就更活跃。要回答因果问题,需要 11.3 的实验设计。

分群之后样本会变小,置信区间会变宽。分群结论要标注样本量,避免用两百人的差异下结论。

把体验指标写成可运行判定

下面的实现把留存、投诉折算、Agent 占比、三护栏判定与汇总结论写成纯函数。

// file: src/metrics/experience.ts
// tier: L1
// verify: node --test test/metrics/experience.test.ts

// 体验指标不是一张看板,而是一组护栏:涨了要知道为什么涨,跌了要能立刻停。
// 留存看趋势,投诉看分位,会话看结构——三个指标不能互相替代。

export type Cohort = {
  readonly users: number;
  readonly retainedD1: number;
  readonly sessions: number;
  readonly complaints: number;
  readonly agentSessions: number;
};

export type Baseline = {
  readonly d1: number;
  readonly complaintsPer10k: number;
  readonly sessionMinutes: number;
};

// 教学设定:投诉率 0.5%、D1 回落 1 个百分点、会话时长变化 10%。
export const GUARDRAILS = {
  maxComplaintsPer10k: 50,
  maxRetentionDropPp: 1,
  maxSessionChangePct: 0.1,
} as const;

export function d1Retention(cohort: Cohort): number {
  return cohort.users === 0 ? 0 : cohort.retainedD1 / cohort.users;
}

export function complaintsPer10k(cohort: Cohort): number {
  return cohort.sessions === 0 ? 0 : (cohort.complaints / cohort.sessions) * 10_000;
}

export function agentShare(cohort: Cohort): number {
  return cohort.sessions === 0 ? 0 : cohort.agentSessions / cohort.sessions;
}

export type CheckStatus = "ok" | "warn" | "breach";

export type Check = {
  readonly name: string;
  readonly actual: number;
  readonly limit: number;
  readonly status: CheckStatus;
};

function graded(actual: number, limit: number): CheckStatus {
  if (actual <= limit) return "ok";
  if (actual <= limit * 2) return "warn";
  return "breach";
}

// 三个护栏各自独立判定:任一指标突破两倍阈值就停,不能靠另外两个指标好看抵消。
export function guardrails(
  cohort: Cohort,
  baseline: Baseline,
  sessionMinutes: number,
): Check[] {
  const retentionDropPp = (baseline.d1 - d1Retention(cohort)) * 100;
  const sessionChange = baseline.sessionMinutes === 0
    ? 0
    : Math.abs(sessionMinutes - baseline.sessionMinutes) / baseline.sessionMinutes;
  return [
    {
      name: "complaints-per-10k",
      actual: complaintsPer10k(cohort),
      limit: GUARDRAILS.maxComplaintsPer10k,
      status: graded(complaintsPer10k(cohort), GUARDRAILS.maxComplaintsPer10k),
    },
    {
      name: "retention-drop-pp",
      actual: retentionDropPp,
      limit: GUARDRAILS.maxRetentionDropPp,
      status: graded(retentionDropPp, GUARDRAILS.maxRetentionDropPp),
    },
    {
      name: "session-change",
      actual: sessionChange,
      limit: GUARDRAILS.maxSessionChangePct,
      status: graded(sessionChange, GUARDRAILS.maxSessionChangePct),
    },
  ];
}

// 汇总只看最差的一项:一个 breach 足以停,一个 warn 只够进观察名单。
export function verdict(checks: readonly Check[]): "pass" | "watch" | "stop" {
  if (checks.some((check) => check.status === "breach")) return "stop";
  if (checks.some((check) => check.status === "warn")) return "watch";
  return "pass";
}

d1Retention 与 complaintsPer10k 都在分母为零时返回 0。返回 0 而不是抛错,是因为新服或新版本第一天可能没有会话,指标系统不应该因此崩溃。

complaintsPer10k 用会话做分母而不是用户。同一批用户可能产生多次会话,按会话折算更能反映「每一次接触的投诉概率」。

graded 用两倍阈值划分三档:限内、限到两倍、两倍以上。两倍这个倍数来自 8.3 的刹车逻辑,保持全书一致。

guardrails 里留存与会话都先算「变化量」再判定:留存算回落百分点,会话算绝对变化比例。两者方向不同——留存怕跌,会话怕偏——所以不能共用同一个符号判断。

verdict 只看最差的一项。一个 breach 足以停,一个 warn 只够进观察;不做加权平均,因为加权会让一个严重问题被两个正常指标稀释。

GUARDRAILS 用 as const,让阈值在类型层就是字面量。调用方不能把它改成运行时变量,避免某个模块「临时」放宽标准。

口径文档写五件事

指标争议多半来自口径不一致。每个指标至少写清五件事:

  1. 分母。 是用户、会话还是场次。
  2. 时间窗。 自然日、滚动七天还是版本周期。
  3. 去重规则。 同一玩家多次投诉算一条还是多条。
  4. 排除项。 测试账号、内部账号、机器人是否排除。
  5. 数据延迟。 当天数据什么时候完整,避免用未完整数据下结论。

五件事缺一件,两个团队就会算出两个数。算不出同一个数,讨论就会变成立场之争。

口径变更要版本化。把「投诉率」的分母从用户改成会话,历史数据不可直接比较,必须标注断点。

方舟的对照:赛季口径

《潮汐方舟》的赛季是九十天,留存与投诉都要按赛季看。赛季初新玩家涌入,D1 会被拉高;赛季末老玩家流失,投诉会集中出现。按自然月看会得出相反结论。

方舟还要单独看「赛季留存」:玩家是否在下一个赛季回来。这个指标比 D7 更能反映长线关系,但周期太长,不能替代短期指标。

两个案例的共同点是:口径必须跟产品节奏对齐。消消按周看,方舟按赛季看,不能拿同一张报表套两个产品。

小结

  • 留存、会话、投诉回答三个不同问题,任意一个都能被单独优化到失真。
  • 留存按 cohort 看趋势,至少四周窗口,样本太小的 cohort 不进结论。
  • 会话拆成场次、单场时长与 Agent 交互时长,避免均值掩盖结构。
  • 投诉按每万次会话折算,护栏 0.5%,与刹车阈值共用口径。
  • 投诉要分类到内容、公平、服务,否则无法分派。
  • 目标是可失败的,护栏是不可突破的,护栏最多三条并提前写死。
  • 至少按新老、付费、平台、Agent 使用四维分群,分群结论标注样本量。
  • 用过 Agent 的玩家留存更高不代表因果,因果问题交给实验。
  • 口径文档写清分母、时间窗、去重、排除项与数据延迟五件事。
  • 消消按周看,方舟按赛季看,口径跟产品节奏对齐。

阅读导航:上一节:10.3 Agent 行为异常的事故响应 · 下一节:11.2 单位玩家 Agent 成本 。

常见错误与边界

  1. 只看总体留存。 新增结构变化会掩盖每个 cohort 的真实趋势。
  2. 用平均时长代表体验。 卡关重试与赛后停留都会拉长时间,含义完全相反。
  3. 投诉看绝对值。 规模不同的产品无法比较,也无法判断是否随增长同步恶化。
  4. 把护栏当目标。 为了压低投诉率隐藏入口,指标变好、体验变差。
  5. 用使用者的留存证明 Agent 有效。 愿意用的人本来就更活跃,存在自选择偏差。
  6. 口径没有文档。 两个团队算出两个数,讨论变成立场之争。

体验指标回答「有没有变好」,但没有回答「值不值」。同一个留存提升,可能花掉了十倍成本,也可能省下了一半成本。

下一节把 Agent 成本拆到单位玩家、单场与单次调用三个口径。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图