以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。本节引用的日志规模与保留期设定来自附录 B 双案例唯一事实表 。
玩家在论坛发帖:「对面的 AI 在第四回合就知道我要出什么,肯定开挂。」产品有两种回答方式。一种是「我们的 AI 是随机的,不存在开挂」;另一种是调出那一场的种子、输入摘要、模型版本与逐回合决策记录,在半小时内还原它当时看到了什么、为什么那样选。
第一种回答在技术上可能是对的,但它无法说服任何人。第二种回答需要三样东西在事发前就已经被记录:种子、输入、版本。缺一样,事后都补不回来。
可复现的不是模型,是决策
先要说清一件容易被误解的事:模型输出本身不可复现。即使温度设为 0,供应商侧的模型版本、批处理顺序与推理硬件都可能让两次调用产生细微差异;跨天重放更是无法保证。
所以「可审计」不能建立在「重新调用模型会得到同样结果」上。它建立在另外三件事上:
- 当时模型看到了什么(输入摘要)。
- 当时它选了什么(决策记录)。
- 当时用的是哪一版规则、提示词与模型(版本号)。
有了这三样,复核者不需要重新调用模型,也能判断这个决定是否合理;如果还需要更强的证据,可以把输入与输出交给另一套模型或人审做交叉判断。
三样东西必须固定
三样东西各自解决一类问题,缺一不可:
| 固定项 | 解决什么 | 缺失后的表现 |
|---|---|---|
| 种子 | 随机分支可复现 | 复盘时无法确认「重来一次会不会不同」 |
| 输入摘要 | 模型看到的状态可核对 | 无法判断是状态错还是决策错 |
| 版本号 | 规则与提示词可追溯 | 换了版本后旧记录失去解释力 |
种子最容易理解,也最容易被误用。种子固定的是脚本策略与随机分支,不是模型输出;把种子当成「模型可复现」的保证,会在第一次跨版本复盘时暴露问题。
输入摘要要固定算法与字段顺序。同一个状态用两种键序序列化,会得到两个不同的摘要,复盘时会被误判成「输入不同」。摘要只保留十六位十六进制,够比对,又不足以从中还原玩家隐私。
版本号有三个,不是一个:模型版本、提示词版本、规则版本。三者任一变化,旧记录的解释力都会下降;只记模型版本,换了提示词之后仍然无法解释行为变化。
一场对局要记多少
方舟的战斗逻辑按 10Hz 运行,一场有效战斗约 120 秒,因此一场约 1,200 条决策记录;保留期 30 天,覆盖赛季内的申诉窗口。
记录不是越多越好。每一条记录都要写入、存储、查询,成本随场次线性增长;方舟日均 25 万 DAU、每人 1.8 场,日增记录量在千万级。这个量级下,字段设计比采样策略更重要:
- 只记决策点,不记每一帧。 状态变化可以用前后两条决策记录推导,不必逐帧保存。
- 输入存摘要,不存原文。 原文含玩家昵称、聊天与设备信息,摘要足够比对,且天然脱敏。
- 输出存结构化结果,不存完整文本。 文本正文另有内容日志,决策日志只需要动作 id 与目标。
保留期之后,记录应当被删除,而不是「留着以防万一」。申诉窗口之外的数据没有使用场景,留着只会增加泄露面。
回放验证的是分歧点,不是「像不像」
回放的目的不是让重放结果「看起来一样」,而是找出第一个不一致的位置。
两种回放要分开:
- 记录级回放。 用同一份种子与同一个脚本策略重跑状态机,验证动作序列是否与记录一致。它验证的是确定性部分,不涉及模型。
- 决策级复核。 把某一条记录的输入摘要与模型输出取出来,交给复核者判断「在这个局面下,这个选择是否合理」。它验证的是模型部分,不要求复现输出。
记录级回放的价值在于定位。如果第一处分歧发生在第四回合,说明前三回合的状态机是一致的,问题从第四回合开始;如果分歧发生在第一回合,说明输入或版本就对不上,后面的比较没有意义。
决策级复核的价值在于解释。玩家问「它为什么知道我要出什么」,答案不是「它不知道」,而是把那一刻它看到的事实列出来:你的手牌它看不到,它看到的是你的能量值、场上随从与历史出牌频率。
两种回放的成本与产出不同,不能互相替代:
| 类型 | 重跑什么 | 能回答 | 不能回答 |
|---|---|---|---|
| 记录级 | 状态机与脚本策略 | 动作序列是否一致 | 模型为什么这样选 |
| 决策级 | 不重跑,人工或另一模型复核 | 这个选择是否合理 | 换一次会不会不同 |
一次完整的复盘通常两种都要:先用记录级回放确认「不是系统 bug」,再用决策级复核解释「为什么这样选」。只做前者,玩家会觉得产品在自说自话;只做后者,无法排除规则实现的问题。
记录字段怎么定
每一条决策记录至少要有六个字段,少一个都会让某类复盘做不下去:
| 字段 | 示例 | 用途 |
|---|---|---|
| matchId | m-2026-1029-0417 | 定位整场对局 |
| tick | 417 | 定位回合 |
| actor | opponent | 区分谁在行动 |
| action | attack:skill-3:target-2 | 结构化结果 |
| inputsHash | 9f2c1a7b4e0d3586 | 比对输入是否一致 |
| versions | model=…;prompt=…;rules=… | 解释行为变化 |
字段要在日志格式里固定下来,不能由各模块自行追加。追加字段看似灵活,实际上会让查询与对比工具无法通用;需要新信息时,先评估它是否真的要在每条记录里出现,还是可以从其他日志关联。
把回放写成可运行的验证
下面的模块把种子、输入摘要、记录级回放与审计字段写成函数。它不调用模型,只验证「记录与函数是否一致」,以及「记录是否完整到可以复盘」。
// file: src/fair/seed-replay.ts
// tier: L1
// verify: node --test test/fair/seed-replay.test.ts
// 可审计的前提是可复现:同一种子、同一输入、同一决策函数,必须得到同一结果。
import { createHash } from "node:crypto";
export type Actor = "player" | "npc" | "opponent";
export type LogEntry = {
readonly tick: number;
readonly actor: Actor;
readonly action: string;
readonly inputsHash: string;
};
export type DecisionLog = {
readonly matchId: string;
readonly seed: number;
readonly entries: readonly LogEntry[];
};
// mulberry32:32 位状态、无依赖、跨平台结果一致。
export function mulberry32(seed: number): () => number {
let state = seed >>> 0;
return () => {
state = (state + 0x6d2b79f5) >>> 0;
let t = state;
t = Math.imul(t ^ (t >>> 15), t | 1);
t ^= t + Math.imul(t ^ (t >>> 7), t | 61);
return ((t ^ (t >>> 14)) >>> 0) / 4294967296;
};
}
function stable(value: unknown): string {
if (value === null || typeof value !== "object") return JSON.stringify(value);
if (Array.isArray(value)) return `[${value.map(stable).join(",")}]`;
const obj = value as Record<string, unknown>;
const keys = Object.keys(obj).sort();
return `{${keys.map((k) => `${JSON.stringify(k)}:${stable(obj[k])}`).join(",")}}`;
}
// 输入摘要只保留 16 位十六进制:够用来比对,不足以从中还原状态。
export function hashInputs(value: unknown): string {
return createHash("sha256").update(stable(value)).digest("hex").slice(0, 16);
}
export type ReplayResult =
| { readonly ok: true; readonly steps: number }
| { readonly ok: false; readonly steps: number; readonly tick: number; readonly expected: string; readonly actual: string };
// 重放不重新调用模型:它只验证「当时记录的决策」与「同一函数同一种子」是否一致。
export function replay(
log: DecisionLog,
decide: (entry: LogEntry, random: () => number) => string,
): ReplayResult {
const random = mulberry32(log.seed);
for (let i = 0; i < log.entries.length; i += 1) {
const entry = log.entries[i];
const actual = decide(entry, random);
if (actual !== entry.action) {
return { ok: false, steps: i, tick: entry.tick, expected: entry.action, actual };
}
}
return { ok: true, steps: log.entries.length };
}
// 审计记录必须自带复现所需的一切;缺任何一项,事后就无法判定。
export type AuditRecord = {
readonly matchId: string;
readonly seed: number;
readonly modelVersion: string;
readonly promptVersion: string;
readonly rulesVersion: string;
readonly log: DecisionLog;
};
export function auditComplete(record: AuditRecord): readonly string[] {
const missing: string[] = [];
if (record.matchId.length === 0) missing.push("matchId");
if (!Number.isInteger(record.seed)) missing.push("seed");
if (record.modelVersion.length === 0) missing.push("modelVersion");
if (record.promptVersion.length === 0) missing.push("promptVersion");
if (record.rulesVersion.length === 0) missing.push("rulesVersion");
return missing;
}
stable 先排序再序列化,是为了让摘要与键序无关。如果直接用 JSON.stringify,同一个对象在不同拼装路径下会得到不同摘要,复盘时会被误判成输入变化。
replay 的 decide 参数是纯函数,可以是脚本策略,也可以是回放用的规则替身,但不能是模型。把模型放进重放路径,等于要求供应商保证跨时间的输出一致性,这不是产品能控制的。
auditComplete 只检查字段是否存在,不检查内容质量。字段缺失是硬错误,内容质量交给决策级复核;两者混在一个函数里,会让「记录完整」与「记录正确」被混为一谈。
(本段代码与 src/fair/seed-replay.ts 逐字节一致,测试对应 test/fair/seed-replay.test.ts。)
隐私、成本与保留期
审计日志天然含敏感信息,三条约束要在设计时确定:
- 摘要代替原文。 输入只存摘要,玩家昵称、聊天、设备标识不进决策日志。
- 访问受控。 能查完整日志的人应当是一个小名单,查询本身要留痕;否则「可审计」会变成「可窥探」。
- 保留期后删除。 30 天是申诉窗口,不是「永久归档」;超过窗口的数据要真删,而不是标记删除。
成本也要提前算。千万级日增记录,存储与查询都不是零成本;如果每条记录都存完整输入输出,成本会翻几倍,而复盘需要的信息并没有增加多少。摘要 + 结构化输出的组合,是在可审计与可承受之间取的平衡。
什么时候必须回放
四类场景必须能回放,缺一类都会在当天变成事故:
- 玩家申诉。 包括「开挂」「针对我」「故意让我输」三类指控。
- 封号与处罚。 处罚必须能给出证据,否则申诉时无法自证。
- 版本对比。 换模型或改提示词后,用同一批输入跑新旧两版,看行为差异。
- 线上事故。 越界动作、数值异常、批量投诉,需要定位是规则、输入还是模型的问题。
四类场景对回放的要求不同:申诉要能定位到单条决策,封号要能给出证据链,版本对比要能批量重跑,事故要能按时间线还原。审计记录的设计要同时满足这四种用法,而不是只为其中一种优化。
版本对比要固定输入集,否则两版的差异无法归因。做法是取一批真实记录,去掉模型输出,只保留输入摘要与版本,分别喂给新旧两版,比较动作分布:
- 输入集要覆盖不同局势,不能只取赢的局面。
- 对比看分布,不看单条;单条差异可能只是随机性。
- 差异要能按动作类型拆开,否则只知道「变了」,不知道「哪里变了」。
采样不能越过 blocker
审计日志可以采样,但有一条底线:涉及 blocker 的记录不能采样。对手越界、陪伴抢决定、封号证据链,这三类必须全量保留;采样掉的那一条,恰好可能就是申诉时需要的那一条。
采样策略要写在日志规范里,而不是由各服务自行决定。同一个 matchId 下的记录要么全留、要么全不留,不能出现「前半场有、后半场没有」的断档。
小结
- 模型输出不可复现,可复现的是种子、输入与脚本策略。
- 三样东西缺一不可:种子、输入摘要、模型、提示词与规则三个版本号。
- 一场对局约 1,200 条决策记录,保留 30 天,覆盖申诉窗口。
- 只记决策点、输入存摘要、输出存结构化结果,能显著降低存储与隐私成本。
- 回放要找出第一个分歧点,而不是判断重放结果「像不像」。
- 记录级回放验证确定性,决策级复核解释模型选择,两者不能互相替代。
- 日志访问要受控并留痕,保留期后真删。
- 申诉、封号、版本对比、线上事故四类场景都必须能回放。
阅读导航:上一节:3.3 模型不可用时玩家看到什么 · 下一节:4.2 AI 对手不做玩家做不到的事 。
常见错误与边界
- 承诺模型输出可复现。 温度、版本、硬件都会影响输出,承诺这一点会在跨版本复盘时失信。
- 只存模型输出,不存输入摘要。 事后无法判断是状态错还是决策错,复盘只能靠猜。
- 只记一个版本号。 模型、提示词、规则任一变化都会改变行为,只记模型版本解释不了。
- 用 JSON.stringify 直接做摘要。 键序不同会得到不同摘要,复盘时被误判成输入变化。
- 把模型放进重放路径。 重放要求跨时间一致,这不是产品能控制的;重放只跑确定性部分。
- 日志永久保留。 超出申诉窗口的数据没有使用场景,只会增加泄露面与存储成本。
可审计解决的是「事后能查」。但玩家更关心的是「当时就公平」——这需要动作表与数值上的同一套规则。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。