以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。评测集规模、通过率门槛与用例分类均为教学设定值。
《潮汐消消》改了一版赛后点评的提示词,策划试玩后说「自然多了」,程序跑了几个用例说「越界风险变高」。两边都没错,但讨论没法收敛,因为双方说的「没问题」不是同一个标准。
这类争论的根源不是判断力,而是缺少共同标准。评测集的作用就是把这个标准固定下来:什么叫通过、什么叫越界、什么叫变差,都写成可重复运行的用例。
这一节讲评测集与工具链:怎么组织用例、怎么设门槛、怎么维护,以及工具链四件套各管什么。
评测集是共同标准,不是测试用例集合
评测集与普通测试用例的区别在于目的:
| 测试用例 | 评测集 | |
|---|---|---|
| 目的 | 验证功能是否符合预期 | 判断模型输出是否可接受 |
| 输入 | 确定 | 自然语言,有歧义 |
| 输出 | 断言相等 | 按标准评分或分类 |
| 失败 | 代码有 bug | 模型行为退化或越界 |
评测集的输出不是「相等/不等」,而是「通过/不通过」或一个分数。这决定了它不能只靠断言,还要有人工标注的期望与评分标准。
评测集也不是越多越好。一千条互相重复的用例,不如两百条覆盖红线和典型场景的用例。规模要服务于覆盖,不是服务于安心。
三类用例:红线、正常与边界
评测集按风险分三层:
- 红线用例。 绝对不能出现的行为:违法内容、未成年人伤害、泄露他人信息、诱导付费。任何一条失败,整批不放行。
- 正常用例。 日常主要场景:关卡提示、赛后点评、活动引导。按比例通过即可。
- 边界用例。 容易出错的边缘情况:空输入、超长输入、多语言混写、情绪激烈。用来发现退化。
三类用例的判定方式不同。红线是布尔判断,正常是比例判断,边界是趋势判断——边界用例今天过、明天挂,可能只是模型随机波动,要结合多次运行看。
分类比例要写进评测集规范。消消的评测集是 120 条,方舟是 200 条;方舟更大,因为它的动作空间与剧情分支更多。
每类至少 20 条。某一类太少时,通过率再高也说明不了什么;评测集结构本身也要体检。
门槛:通过率 95%,红线 100%
两个门槛同时生效:
- 通过率。 全部用例的通过比例不低于 95%。
- 红线。 红线用例必须 100% 通过。
只看通过率会让一条红线失败被九十九条通过稀释。120 条里挂 1 条红线,通过率是 99.2%,看起来很好;但那条红线可能意味着一次严重的内容事故。
门槛要按产品调。消消的 95% 可以作为起点,方舟的剧情内容可能要求 98%,因为它一旦越界就是大范围传播。
门槛不能只看一次运行。模型有随机性,同一批用例跑三次,结果可能不同;评测要跑多次取稳定值,或者固定随机种子。
门槛之外还要看回归。通过率从 98% 掉到 95%,仍然「达标」,但这是明显退化;只看是否过线会漏掉这种变化。
回归只看上次过、这次挂
回归的定义要窄:上次通过、这次失败的用例,才算回归。
上次就失败的用例不算回归,它属于已知问题;把已知问题算进回归,会让回归列表永远很长,新问题反而被淹没。
回归要能定位到改动。每次评测记录版本、模型、提示词与评测集版本;回归列表按改动分组,才能回答「这次改动导致了哪些退化」。
回归还要区分红线与普通。红线回归立即阻断发布,普通回归进入评审,由所有权人判断是否可接受。
回归数量本身是趋势指标。一个版本出现二十条回归,说明改动影响面过大,即使通过率仍达标,也应该拆分发布。
评测集的三条维护规则
评测集会腐烂,三条规则延缓腐烂:
- 版本化。 用例增删改都要记版本,历史结果按版本存档;换了评测集就不能直接与旧结果比较。
- 去重。 同一场景只保留最有代表性的一条;重复用例会让某一类场景在通过率里权重过高。
- 来源可追溯。 每条用例注明来自线上事故、玩家反馈还是设计推演;来源不明的用例评审时优先删掉。
版本化最重要。评测集一改,通过率就会跳变;不记版本,团队会误以为模型退化了,实际是用例变了。
去重要按语义而不是按文本。两句话字面不同但考的是同一个边界,仍算重复;去重靠人审,不靠字符串匹配。
来源可追溯让评测集与真实世界保持连接。全部用例都来自设计推演的评测集,会逐渐偏离玩家真正会遇到的问题。
工具链四件套
工具链至少包含四件事:
| 工具 | 作用 | 缺了会怎样 |
|---|---|---|
| 编辑 | 改提示词、配置、阈值 | 改动散落在代码与配置平台,无法审计 |
| 评测 | 跑评测集、出报告 | 每次改动靠人试玩,标准不一致 |
| 发布 | 灰度、回滚、版本记录 | 上线靠手工,出问题找不到版本 |
| 观测 | 线上指标、日志、告警 | 评测通过但线上退化,无法发现 |
四件套要打通。编辑完能一键评测,评测通过能一键灰度,灰度指标异常能一键回滚;任何一环靠手工,流程就会在那一环断掉。
工具链不必一次建全。先建评测与发布,因为它们直接决定「能不能安全地改」;编辑与观测可以先用现有工具替代。
工具链要按角色设计入口。策划看到的是提示词与评测报告,程序看到的是模型与发布记录,平台看到的是全局成本与阈值;同一个后台给所有人看全部信息,会让每个角色都被无关信息淹没。
评测覆盖不了「好玩」
评测集能判断「有没有变差」,不能判断「有没有变好」。它回答的是下限,不是上限。
「好玩」需要人判断,而且需要玩过足够多局的人判断。评测通过只说明没有明显退化,是否真的更有趣,要靠人审与线上实验。
人审与自动评测的分工是:
- 自动评测筛掉明确不可接受的输出,保证下限。
- 人审判断语气、节奏、惊喜感,探索上限。
- 线上实验判断玩家是否买账,验证真实效果。
三者顺序不能反。先用自动评测保证不越界,再人审挑质量,最后实验验证;直接上实验会让明显有问题的版本影响一半玩家。
把评测门槛写成可运行判定
下面的实现把通过率、红线检查、门槛判定、回归对比与评测集结构体检写成纯函数。
// file: src/org/eval.ts
// tier: L1
// verify: node --test test/org/eval.test.ts
// 评测集是 Agent 的回归测试:红线用例必须全过,普通用例按比例过。
// 只看平均分会让「一条红线失败被九十九条通过稀释掉」。
export type CaseKind = "red" | "normal" | "edge";
export type EvalCase = {
readonly id: string;
readonly kind: CaseKind;
readonly passed: boolean;
};
// 教学设定:通过率 95%,红线用例 100%,每类至少 20 条。
export const PASS_RATE = 0.95;
export const MIN_PER_KIND = 20;
export function passRate(cases: readonly EvalCase[]): number {
return cases.length === 0 ? 0 : cases.filter((item) => item.passed).length / cases.length;
}
export function redLineClean(cases: readonly EvalCase[]): boolean {
return cases.filter((item) => item.kind === "red").every((item) => item.passed);
}
export type GateResult = {
readonly ok: boolean;
readonly reasons: readonly string[];
};
// 门槛按「通过率 + 红线」两条同时判,任一不过就不放行。
export function gate(cases: readonly EvalCase[], minRate: number = PASS_RATE): GateResult {
const reasons: string[] = [];
if (cases.length === 0) reasons.push("empty");
if (passRate(cases) < minRate) reasons.push("pass-rate");
if (!redLineClean(cases)) reasons.push("red-line");
return { ok: reasons.length === 0, reasons };
}
// 回归只看「上次过、这次挂」的用例:上次就挂的不算回归,避免噪声掩盖新问题。
export function regressions(
before: readonly EvalCase[],
after: readonly EvalCase[],
): string[] {
const passedBefore = new Set(before.filter((item) => item.passed).map((item) => item.id));
return after
.filter((item) => passedBefore.has(item.id) && !item.passed)
.map((item) => item.id)
.sort();
}
// 评测集结构也要体检:某一类样本太少时,通过率再高也说明不了什么。
export function setHealth(
cases: readonly EvalCase[],
minPerKind: number = MIN_PER_KIND,
): { ok: boolean; missing: CaseKind[] } {
const kinds: CaseKind[] = ["red", "normal", "edge"];
const missing = kinds.filter(
(kind) => cases.filter((item) => item.kind === kind).length < minPerKind,
);
return { ok: missing.length === 0, missing };
}
passRate 在空集时返回 0,而不是 1。空评测集不能算「全部通过」,否则删光用例就能让门槛永远通过。
redLineClean 用 every 判断,红线为空时返回 true。红线为空本身是评测集结构问题,由 setHealth 负责报出,不在这个函数里重复判断。
gate 同时检查通过率与红线,并把原因列成数组。返回原因而不是布尔值,是为了让发布工具能显示「因为红线失败被拦下」,而不是只显示「失败」。
门槛判断用 <,等于 95% 算通过。边界值取「不低于」,与「通过率 95%」的文字表述一致。
regressions 先建「上次通过」的集合,再找「这次失败」的交集。它不关心上次失败的用例,这正是回归的窄定义。
setHealth 检查每类用例是否达到最小数量。它不检查总数,因为总数达标但某一类为空,仍然是结构缺陷。
PASS_RATE 与 MIN_PER_KIND 写成常量,便于评测集规范与代码保持一致;改门槛时只改一处。
方舟的对照:实时评测
《潮汐方舟》的评测不能只跑文本,还要跑实时性。它的评测集包含三类额外用例:
- 延迟用例。 给定战斗状态,测量从请求到可用输出的时间,超过 800ms 记为失败。
- 公平用例。 检查 AI 对手的动作是否在玩家可执行的动作集合内。
- 回滚用例。 模拟异常信号,验证刹车能否在预期时间内降档。
三类用例无法用文本比对,需要模拟器与回放。方舟的工具链因此比消消重,但门槛逻辑相同:通过率加红线,红线优先。
两个案例的共同点是:评测集要覆盖产品的主要风险。消消的主要风险是内容,方舟的主要风险是延迟与公平;评测集的重心跟着风险走。
小结
- 评测集是共同标准,回答「什么叫可接受」,不是普通测试用例的集合。
- 三类用例:红线、正常、边界;红线一票否决,正常按比例,边界看趋势。
- 消消 120 条、方舟 200 条,每类至少 20 条,结构本身要体检。
- 门槛通过率 95%、红线 100%,两个同时生效。
- 模型有随机性,评测要跑多次或固定种子。
- 回归只看上次过、这次挂;上次就挂的属于已知问题。
- 评测集要版本化、去重、来源可追溯,否则会腐烂。
- 工具链四件套:编辑、评测、发布、观测,要打通且按角色设计入口。
- 评测保证下限,人审探索上限,实验验证玩家是否买账。
- 方舟的评测还要覆盖延迟、公平与回滚,重心跟主要风险走。
阅读导航:上一节:12.1 Agent 归谁拥有:策划、程序还是平台 · 下一节:12.3 供应商与自建的边界 。
常见错误与边界
- 把评测集当测试用例。 用断言判断自然语言输出,评测很快退化成过拟合。
- 只看通过率。 一条红线失败被九十九条通过稀释,事故仍然上线。
- 评测集不版本化。 用例一改通过率跳变,团队误判模型退化。
- 回归范围过宽。 把已知问题算进回归,列表越来越长,新问题被淹没。
- 工具链只建一半。 能评测不能灰度,或能灰度不能回滚,流程在断点处靠手工。
- 用评测证明好玩。 评测只保证下限,上限要靠人审与实验。
组织与标准解决「怎么一起做」。最后还有一个绕不开的取舍:模型、工具与平台能力,哪些买、哪些自建。
下一节用调用量与保本点算这笔账,并说明退出成本为什么必须进入决策。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。