以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。阈值、模板池规模与审核比例是教学设定值,基础规模见附录 B 双案例唯一事实表 。
上一节把生成内容分成可说、可做、可展示三层。这一节回答一个更工程化的问题:这三层判定放在生成链路的哪个位置,以及判定不通过之后怎么办。答案是四段流水线:生成前约束、硬规则、分类器、人审。四段的顺序不能换,因为它们的代价差一个数量级。
四段流水线,不是一条规则
| 段 | 检查什么 | 单次成本 | 失败后 |
|---|---|---|---|
| 生成前 | 长度、话题范围、格式 | 极低 | 重新生成 |
| 硬规则 | 违禁词、内部代号 | 低 | 直接拦截 |
| 分类器 | 语义风险分 | 中 | 放行、转人审或拦截 |
| 人审 | 灰区与高价值内容 | 高 | 决定放行、修改或下线 |
把四段压成一个分类器,会把「结构错误」和「语义风险」混在一起处理:结构错误本该重生成,分类器却把它判成风险,结果要么误杀,要么进人审浪费人力。分段的意义是让每一种失败走自己最便宜的路径。
生成前约束永远更便宜
生成前约束指在提示词与参数层面限制输出空间:长度上限、话题白名单、必填结构。它比生成后过滤便宜,因为不合格的候选根本没有产生。
一个具体例子:方舟的 NPC 台词要求包含指定话题(天气、潮汐、旧事、赛程)中的至少一个。这个约束放在生成前,可以让模型一开始就围绕话题组织句子;放在生成后,则会出现大量「写得好但离题」的候选被丢弃,重生成三次的成本已经超过省下的约束设计。
生成前约束也有边界。它只能约束结构与范围,不能判断语义是否得体。把「不许冒犯」写进提示词,不等于模型一定做到;这一层仍然需要分类器兜底。
灰区必须有人
分类器的输出不是一个布尔值,而是三档:低于 0.35 放行,0.35 到 0.65 转人审,高于 0.65 拦截。中间这段灰区是刻意保留的。
原因很实际:把阈值调到只留放行与拦截,误杀会集中在阈值附近,玩家会看到「同一类内容有时能说、有时不能说」,而且没有任何人能解释原因。灰区把这类判断交给人工,代价是人力,收益是判断可解释。
| 分数区间 | 处理 | 谁负责 | 玩家看到 |
|---|---|---|---|
| < 0.35 | 放行 | 机器 | 正常内容 |
| 0.35 至 0.65 | 人审队列 | 内容运营 | 等待或降级 |
| ≥ 0.65 | 拦截 | 机器 | 降级内容 |
灰区不是越窄越好。阈值区间窄,误杀少但漏放多;区间宽,人审压力大。区间宽度应该由人审产能倒推,而不是由模型指标决定。
重生成两次就停
拦截之后有两个选择:重生成,或者降级。重生成有明确的次数上限,本书定为两次;第三次仍不过,就走模板池兜底。
模板池是预生成的 320 条候选:8 类场景 × 每类 40 条。它的作用不是提供最好的内容,而是保证玩家永远能看到「合理但不惊艳」的内容。没有模板池,拦截就等于让角色沉默;有模板池,拦截只是让角色说了一句普通的话。
320 条这个规模是教学设定,实际规模按场景覆盖率定。判断标准是:每个高频场景至少要有 40 条可用模板,覆盖问候、拒绝、称赞、转移话题、剧情提示、战斗解说、活动引导、告别八类。
把流水线写成可运行判定
下面的实现把四段检查、阈值分档、重生成策略与审计键写成纯函数。人审队列只记录状态,不实现排队系统。
// file: src/content/moderation.ts
// tier: L1
// verify: node --test test/content/moderation.test.ts
// 生成前约束与生成后过滤:结构检查、硬规则、分类器三档,最后才轮到人。
// 三道闸门顺序固定,越靠后越贵,越靠前越便宜。
export type Verdict = "allow" | "review" | "block";
export type Stage = "pre" | "rule" | "classifier" | "done";
export type Thresholds = {
readonly review: number;
readonly block: number;
};
// 分类分 0.35 以下放行、0.65 以上拦截,中间转人审——灰区不假装确定。
export const THRESHOLDS: Thresholds = { review: 0.35, block: 0.65 };
export type Constraint = {
readonly maxChars: number;
readonly topics: readonly string[];
readonly bannedWords: readonly string[];
};
export const ARK_CONSTRAINT: Constraint = {
maxChars: 120,
topics: ["天气", "潮汐", "旧事", "赛程"],
bannedWords: ["内部代号", "免费送"],
};
export type PrecheckResult = {
readonly ok: boolean;
readonly violations: readonly string[];
};
// 生成前只查结构:长度与话题范围。结构错了,重生成比过滤便宜。
export function precheck(text: string, constraint: Constraint): PrecheckResult {
const violations: string[] = [];
if (text.trim().length === 0) {
violations.push("empty");
}
if (text.length > constraint.maxChars) {
violations.push(`too long: ${text.length} > ${constraint.maxChars}`);
}
if (!constraint.topics.some((topic) => text.includes(topic))) {
violations.push("off-topic");
}
return { ok: violations.length === 0, violations };
}
// 硬规则命中直接拦截,不看分类分:这类内容没有灰区。
export function ruleHit(text: string, constraint: Constraint): string | null {
const hit = constraint.bannedWords.find(
(word) => word.length > 0 && text.includes(word),
);
return hit ?? null;
}
export function classify(score: number, thresholds: Thresholds = THRESHOLDS): Verdict {
if (score >= thresholds.block) return "block";
if (score >= thresholds.review) return "review";
return "allow";
}
export type PipelineResult = {
readonly stage: Stage;
readonly verdict: Verdict;
readonly reason: string;
};
// 顺序:pre → rule → classifier。任何一档拒绝,后面的档不再执行。
export function pipeline(
text: string,
score: number,
constraint: Constraint,
thresholds: Thresholds = THRESHOLDS,
): PipelineResult {
const pre = precheck(text, constraint);
if (!pre.ok) {
return { stage: "pre", verdict: "block", reason: pre.violations.join(",") };
}
const hit = ruleHit(text, constraint);
if (hit !== null) {
return { stage: "rule", verdict: "block", reason: `banned word: ${hit}` };
}
const verdict = classify(score, thresholds);
return { stage: "classifier", verdict, reason: `score ${score.toFixed(2)}` };
}
export type NextAction = "accept" | "regenerate" | "fallback" | "queue";
// 重生成有次数上限:第三次还不过就降级为模板,不无限重试。
export function nextAction(
result: PipelineResult,
attempts: number,
maxAttempts: number = 2,
): NextAction {
if (result.verdict === "allow") return "accept";
if (result.verdict === "review") return "queue";
return attempts < maxAttempts ? "regenerate" : "fallback";
}
// 审计键只由版本与生成 id 决定,同样的输入永远得到同样的键。
export function auditKey(parts: {
readonly generationId: string;
readonly promptVersion: string;
readonly modelVersion: string;
}): string {
let hash = 0x811c9dc5;
for (let i = 0; i < parts.generationId.length; i += 1) {
hash ^= parts.generationId.charCodeAt(i);
hash = Math.imul(hash, 0x01000193) >>> 0;
}
const short = hash.toString(16).padStart(8, "0");
return `${parts.promptVersion}@${parts.modelVersion}#${short}`;
}
precheck 只查三件事:非空、长度、话题覆盖。它故意不查违禁词,因为违禁词属于硬规则,分开之后失败原因更明确:pre 段失败意味着提示词或参数有问题,rule 段失败意味着内容碰到了明确禁区。
pipeline 的实现顺序就是执行顺序。任何一档拒绝,后面的段不再执行,这在成本上很重要:分类器调用通常比前两段贵两到三个数量级,能提前拦下的就不该进分类器。
nextAction 把「再试一次」和「换兜底」分开。重生成次数用尽后走 fallback,不进入无限循环。灰区内容返回 queue,既不重生成也不拦截,等待人工判断。
auditKey 把提示词版本、模型版本与生成 id 拼成键。三个字段缺一不可:只有生成 id,换了模型后无法区分是内容问题还是模型升级导致;只有版本,无法定位具体哪一条生成。
审计键决定能不能复盘
审核事故复盘时,第一个问题是「这条内容是怎么产生的」。审计键要能回答三层:
- 哪一次生成(生成 id 的稳定哈希)。
- 哪一版提示词(提示词版本)。
- 哪一个模型(模型版本)。
三层之外还需要人审记录:谁审的、什么时候、结论是什么。这四项合起来才是完整证据链,缺一项就只能靠推测。
审计键不要用自增 id。自增 id 会暴露生成量,也无法跨环境合并;用稳定哈希可以在日志、审核后台、举报工单三处对齐同一条内容。
上线节奏:先影子,后拦截
审核流水线上线不能直接开拦截。稳妥的节奏是三步:
- 影子模式。 全量跑判定,但不影响玩家,只记录「如果开拦截会拦掉多少」。
- 小流量拦截。 只对 5% 玩家开启拦截,观察投诉与降级比例。
- 全量开启。 灰区比例、降级比例、投诉率都稳定后,再全量。
影子模式的价值在于校准阈值。只看离线评测集,阈值的实际误杀率往往被低估,因为线上文本的分布与评测集不同。
人审队列怎么排
灰区内容进入人审队列后,排序规则决定响应速度。常见做法是按风险分从高到低排,但这会让低分灰区长期积压。更稳的排法是两级排序:
- 先按内容类型分组:剧情文本优先于活动文案,因为剧情一旦出错修复成本更高。
- 组内按分数降序,同分按进入时间升序。
这条规则让高价值内容有稳定的响应时间,同时保证低分内容不会被无限推后。
小结
- 审核是四段流水线:生成前约束、硬规则、分类器、人审,不是一条规则。
- 生成前约束永远比生成后过滤便宜,因为不合格候选根本没有产生。
- 生成前只能约束结构与范围,语义得体仍要分类器兜底。
- 三档阈值 0.35 与 0.65 保留灰区,灰区交给人工,判断才可解释。
- 灰区宽度由人审产能倒推,不由模型指标决定。
- 重生成最多两次,第三次走 320 条模板池兜底,不让角色沉默。
- 模板池按 8 类场景各 40 条设计,保证每个高频场景都有可用内容。
- 审计键必须同时携带生成 id、提示词版本与模型版本,再加人审记录才完整。
- 上线节奏是影子、5% 小流量、全量三步,不要直接开拦截。
- 人审队列先按内容类型分组,再按分数与时间排序。
阅读导航:上一节:6.1 生成内容的可说、可做与可展示 · 下一节:6.3 玩家举报、内容回滚与追责 。
常见错误与边界
- 把四段压成一个分类器。 结构错误被当成语义风险,误杀与人力浪费同时出现。
- 只做生成后过滤。 不合格候选已经付过模型成本,重生成三次比约束设计更贵。
- 没有灰区。 阈值附近的内容忽放忽拦,玩家看到同类内容两种结果,且无法解释。
- 重生成不设上限。 模型持续不过时链路会卡住,延迟与成本一起爆。
- 没有模板池兜底。 拦截等于让角色沉默,玩家感知为功能坏了。
- 审计键只有生成 id。 换模型后无法区分内容问题与版本问题,复盘只能猜。
审核链路保证内容能过闸,但玩家仍然会看到不合适的内容。下一节处理闸门之后的事:举报怎么分级、内容怎么回滚、责任怎么追溯。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。