《AI Agent 游戏产品开发》6.2 生成前约束与生成后过滤

审核不是接一个过滤接口:结构检查、硬规则、分类器、人审四段各有各的位置与代价。本节给出 0.35 与 0.65 两档阈值下的灰区处理、重生成两次就停的降级策略、320 条模板池的兜底方式,以及审计键必须携带的版本信息,说明为什么生成前约束永远比生成后过滤便宜。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。阈值、模板池规模与审核比例是教学设定值,基础规模见附录 B 双案例唯一事实表 。

上一节把生成内容分成可说、可做、可展示三层。这一节回答一个更工程化的问题:这三层判定放在生成链路的哪个位置,以及判定不通过之后怎么办。答案是四段流水线:生成前约束、硬规则、分类器、人审。四段的顺序不能换,因为它们的代价差一个数量级。

四段流水线,不是一条规则

段检查什么单次成本失败后
生成前长度、话题范围、格式极低重新生成
硬规则违禁词、内部代号低直接拦截
分类器语义风险分中放行、转人审或拦截
人审灰区与高价值内容高决定放行、修改或下线

把四段压成一个分类器,会把「结构错误」和「语义风险」混在一起处理:结构错误本该重生成,分类器却把它判成风险,结果要么误杀,要么进人审浪费人力。分段的意义是让每一种失败走自己最便宜的路径。

生成前约束永远更便宜

生成前约束指在提示词与参数层面限制输出空间:长度上限、话题白名单、必填结构。它比生成后过滤便宜,因为不合格的候选根本没有产生。

一个具体例子:方舟的 NPC 台词要求包含指定话题(天气、潮汐、旧事、赛程)中的至少一个。这个约束放在生成前,可以让模型一开始就围绕话题组织句子;放在生成后,则会出现大量「写得好但离题」的候选被丢弃,重生成三次的成本已经超过省下的约束设计。

生成前约束也有边界。它只能约束结构与范围,不能判断语义是否得体。把「不许冒犯」写进提示词,不等于模型一定做到;这一层仍然需要分类器兜底。

灰区必须有人

分类器的输出不是一个布尔值,而是三档:低于 0.35 放行,0.35 到 0.65 转人审,高于 0.65 拦截。中间这段灰区是刻意保留的。

原因很实际:把阈值调到只留放行与拦截,误杀会集中在阈值附近,玩家会看到「同一类内容有时能说、有时不能说」,而且没有任何人能解释原因。灰区把这类判断交给人工,代价是人力,收益是判断可解释。

分数区间处理谁负责玩家看到
< 0.35放行机器正常内容
0.35 至 0.65人审队列内容运营等待或降级
≥ 0.65拦截机器降级内容

灰区不是越窄越好。阈值区间窄,误杀少但漏放多;区间宽,人审压力大。区间宽度应该由人审产能倒推,而不是由模型指标决定。

重生成两次就停

拦截之后有两个选择:重生成,或者降级。重生成有明确的次数上限,本书定为两次;第三次仍不过,就走模板池兜底。

模板池是预生成的 320 条候选:8 类场景 × 每类 40 条。它的作用不是提供最好的内容,而是保证玩家永远能看到「合理但不惊艳」的内容。没有模板池,拦截就等于让角色沉默;有模板池,拦截只是让角色说了一句普通的话。

320 条这个规模是教学设定,实际规模按场景覆盖率定。判断标准是:每个高频场景至少要有 40 条可用模板,覆盖问候、拒绝、称赞、转移话题、剧情提示、战斗解说、活动引导、告别八类。

把流水线写成可运行判定

下面的实现把四段检查、阈值分档、重生成策略与审计键写成纯函数。人审队列只记录状态,不实现排队系统。

// file: src/content/moderation.ts
// tier: L1
// verify: node --test test/content/moderation.test.ts

// 生成前约束与生成后过滤:结构检查、硬规则、分类器三档,最后才轮到人。
// 三道闸门顺序固定,越靠后越贵,越靠前越便宜。

export type Verdict = "allow" | "review" | "block";

export type Stage = "pre" | "rule" | "classifier" | "done";

export type Thresholds = {
  readonly review: number;
  readonly block: number;
};

// 分类分 0.35 以下放行、0.65 以上拦截,中间转人审——灰区不假装确定。
export const THRESHOLDS: Thresholds = { review: 0.35, block: 0.65 };

export type Constraint = {
  readonly maxChars: number;
  readonly topics: readonly string[];
  readonly bannedWords: readonly string[];
};

export const ARK_CONSTRAINT: Constraint = {
  maxChars: 120,
  topics: ["天气", "潮汐", "旧事", "赛程"],
  bannedWords: ["内部代号", "免费送"],
};

export type PrecheckResult = {
  readonly ok: boolean;
  readonly violations: readonly string[];
};

// 生成前只查结构:长度与话题范围。结构错了,重生成比过滤便宜。
export function precheck(text: string, constraint: Constraint): PrecheckResult {
  const violations: string[] = [];
  if (text.trim().length === 0) {
    violations.push("empty");
  }
  if (text.length > constraint.maxChars) {
    violations.push(`too long: ${text.length} > ${constraint.maxChars}`);
  }
  if (!constraint.topics.some((topic) => text.includes(topic))) {
    violations.push("off-topic");
  }
  return { ok: violations.length === 0, violations };
}

// 硬规则命中直接拦截,不看分类分:这类内容没有灰区。
export function ruleHit(text: string, constraint: Constraint): string | null {
  const hit = constraint.bannedWords.find(
    (word) => word.length > 0 && text.includes(word),
  );
  return hit ?? null;
}

export function classify(score: number, thresholds: Thresholds = THRESHOLDS): Verdict {
  if (score >= thresholds.block) return "block";
  if (score >= thresholds.review) return "review";
  return "allow";
}

export type PipelineResult = {
  readonly stage: Stage;
  readonly verdict: Verdict;
  readonly reason: string;
};

// 顺序:pre → rule → classifier。任何一档拒绝,后面的档不再执行。
export function pipeline(
  text: string,
  score: number,
  constraint: Constraint,
  thresholds: Thresholds = THRESHOLDS,
): PipelineResult {
  const pre = precheck(text, constraint);
  if (!pre.ok) {
    return { stage: "pre", verdict: "block", reason: pre.violations.join(",") };
  }
  const hit = ruleHit(text, constraint);
  if (hit !== null) {
    return { stage: "rule", verdict: "block", reason: `banned word: ${hit}` };
  }
  const verdict = classify(score, thresholds);
  return { stage: "classifier", verdict, reason: `score ${score.toFixed(2)}` };
}

export type NextAction = "accept" | "regenerate" | "fallback" | "queue";

// 重生成有次数上限:第三次还不过就降级为模板,不无限重试。
export function nextAction(
  result: PipelineResult,
  attempts: number,
  maxAttempts: number = 2,
): NextAction {
  if (result.verdict === "allow") return "accept";
  if (result.verdict === "review") return "queue";
  return attempts < maxAttempts ? "regenerate" : "fallback";
}

// 审计键只由版本与生成 id 决定,同样的输入永远得到同样的键。
export function auditKey(parts: {
  readonly generationId: string;
  readonly promptVersion: string;
  readonly modelVersion: string;
}): string {
  let hash = 0x811c9dc5;
  for (let i = 0; i < parts.generationId.length; i += 1) {
    hash ^= parts.generationId.charCodeAt(i);
    hash = Math.imul(hash, 0x01000193) >>> 0;
  }
  const short = hash.toString(16).padStart(8, "0");
  return `${parts.promptVersion}@${parts.modelVersion}#${short}`;
}

precheck 只查三件事:非空、长度、话题覆盖。它故意不查违禁词,因为违禁词属于硬规则,分开之后失败原因更明确:pre 段失败意味着提示词或参数有问题,rule 段失败意味着内容碰到了明确禁区。

pipeline 的实现顺序就是执行顺序。任何一档拒绝,后面的段不再执行,这在成本上很重要:分类器调用通常比前两段贵两到三个数量级,能提前拦下的就不该进分类器。

nextAction 把「再试一次」和「换兜底」分开。重生成次数用尽后走 fallback,不进入无限循环。灰区内容返回 queue,既不重生成也不拦截,等待人工判断。

auditKey 把提示词版本、模型版本与生成 id 拼成键。三个字段缺一不可:只有生成 id,换了模型后无法区分是内容问题还是模型升级导致;只有版本,无法定位具体哪一条生成。

审计键决定能不能复盘

审核事故复盘时,第一个问题是「这条内容是怎么产生的」。审计键要能回答三层:

  • 哪一次生成(生成 id 的稳定哈希)。
  • 哪一版提示词(提示词版本)。
  • 哪一个模型(模型版本)。

三层之外还需要人审记录:谁审的、什么时候、结论是什么。这四项合起来才是完整证据链,缺一项就只能靠推测。

审计键不要用自增 id。自增 id 会暴露生成量,也无法跨环境合并;用稳定哈希可以在日志、审核后台、举报工单三处对齐同一条内容。

上线节奏:先影子,后拦截

审核流水线上线不能直接开拦截。稳妥的节奏是三步:

  1. 影子模式。 全量跑判定,但不影响玩家,只记录「如果开拦截会拦掉多少」。
  2. 小流量拦截。 只对 5% 玩家开启拦截,观察投诉与降级比例。
  3. 全量开启。 灰区比例、降级比例、投诉率都稳定后,再全量。

影子模式的价值在于校准阈值。只看离线评测集,阈值的实际误杀率往往被低估,因为线上文本的分布与评测集不同。

人审队列怎么排

灰区内容进入人审队列后,排序规则决定响应速度。常见做法是按风险分从高到低排,但这会让低分灰区长期积压。更稳的排法是两级排序:

  • 先按内容类型分组:剧情文本优先于活动文案,因为剧情一旦出错修复成本更高。
  • 组内按分数降序,同分按进入时间升序。

这条规则让高价值内容有稳定的响应时间,同时保证低分内容不会被无限推后。

小结

  • 审核是四段流水线:生成前约束、硬规则、分类器、人审,不是一条规则。
  • 生成前约束永远比生成后过滤便宜,因为不合格候选根本没有产生。
  • 生成前只能约束结构与范围,语义得体仍要分类器兜底。
  • 三档阈值 0.35 与 0.65 保留灰区,灰区交给人工,判断才可解释。
  • 灰区宽度由人审产能倒推,不由模型指标决定。
  • 重生成最多两次,第三次走 320 条模板池兜底,不让角色沉默。
  • 模板池按 8 类场景各 40 条设计,保证每个高频场景都有可用内容。
  • 审计键必须同时携带生成 id、提示词版本与模型版本,再加人审记录才完整。
  • 上线节奏是影子、5% 小流量、全量三步,不要直接开拦截。
  • 人审队列先按内容类型分组,再按分数与时间排序。

阅读导航:上一节:6.1 生成内容的可说、可做与可展示 · 下一节:6.3 玩家举报、内容回滚与追责 。

常见错误与边界

  1. 把四段压成一个分类器。 结构错误被当成语义风险,误杀与人力浪费同时出现。
  2. 只做生成后过滤。 不合格候选已经付过模型成本,重生成三次比约束设计更贵。
  3. 没有灰区。 阈值附近的内容忽放忽拦,玩家看到同类内容两种结果,且无法解释。
  4. 重生成不设上限。 模型持续不过时链路会卡住,延迟与成本一起爆。
  5. 没有模板池兜底。 拦截等于让角色沉默,玩家感知为功能坏了。
  6. 审计键只有生成 id。 换模型后无法区分内容问题与版本问题,复盘只能猜。

审核链路保证内容能过闸,但玩家仍然会看到不合适的内容。下一节处理闸门之后的事:举报怎么分级、内容怎么回滚、责任怎么追溯。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图