《AI Agent 游戏产品开发》3.2 把非实时部分挪出关键路径

上一节讲怎么把一次思考塞进 800ms,本节讲哪些思考根本不该放进去。按触发点把调用分成在路径上、提前算好与事后补算三类,说明预生成候选池的规模与命中率目标,给出在路径预算必须相加的排期方法,并用可运行代码把触发点、预算与过期判定写成函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。本节引用的调用量、候选池与预算设定来自附录 B 双案例唯一事实表 。

延迟预算解决的是「一次思考怎么塞进 800ms」。但如果三次思考都在回合开始,预算再合理也没用:玩家会在三个地方各等一次。真正的问题不是每一次多快,而是哪些调用必须发生,哪些可以提前,哪些可以事后补。

潮汐方舟每场调用 3 次模型,分布在开场、关键节点与赛后;其余时间由脚本策略按 10Hz 执行。这个分布本身就是产品决策:关键节点的思考留在路径上,赛后的点评挪出去,剧本化的行为完全不需要模型。三类调用混在一起,预算表就会被迫照顾最慢的那一类。

先问有没有人在等

判断一个调用该不该留在关键路径,只问一句:这一次调用发生时,玩家里有没有人在等结果。

场景有人在等吗处理
玩家点了技能,等对手回应是留在路径上,受 800ms 预算约束
回合开始,玩家看行动顺序是留在路径上
关卡加载,玩家等进场是,但可以遮住提前算好,加载时读取
对局结束,玩家看结算否,已经离开战斗事后补算
运营配置活动文案否批量生成,上线前完成

这张表的关键行是第三行。关卡加载时玩家确实在等,但等待被加载条遮住了;这类调用可以提前算好,在加载期间读取结果。它不属于「事后」,因为它必须在玩家进场前完成;也不属于「在路径」,因为玩家并不逐字等待这一次思考。

触发点决定去路

把调用按触发点分类,比按功能分类更稳定。功能会变,触发点不会:

触发点去路理由
玩家输入在路径玩家正在等这一步的回应
回合开始在路径行动顺序与提示必须当场给出
关卡开始提前算好加载期间完成,进场即可用
对局结束提前或事后结算前生成点评,或结算后异步推送
定时任务事后可以批量,也可以延后
运营请求事后与玩家无关,按产能排期

一个调用只能有一个主触发点。既有「回合开始触发」又有「定时预生成」的调用,要拆成两条链路:预生成负责产出候选,回合开始只负责挑选与渲染。不拆开,预算表里就分不清哪一段是玩家在等。

方舟的三次调用正好覆盖三种去路:

调用触发点去路截止
开场阵容解说回合开始在路径800ms
关键节点战术建议玩家输入在路径800ms
赛后复盘对局结束事后补算无硬截止

这张表可以直接作为排期输入。它同时说明一件事:三次调用里只有两次受 800ms 约束,第三次可以被异步化,而异步化的收益不是省延迟,是把实时配额留给真正需要的地方。

「定时任务」这一行需要额外的判断:可批量的挪到路径之外,不可批量的只能留在路径上。判据是它能不能等——一次必须在当前回合内产生的调用,即使由定时器触发,也仍然在关键路径上。

在路径上的预算要相加

单个调用 200ms 看起来没问题,三个调用串起来就是 600ms,再加状态装配就顶到 800ms 上限。预算必须按路径相加,不能按单个调用验收。

方舟的在路径调用只有一次思考,其余两次分别在开场与赛后。消消的陪伴型 Agent 没有对局内的实时调用,2,000ms 的预算只影响赛后点评出现的早晚。两款产品的共同点是:在路径上的调用数量是一个被明确限制的数字,而不是由各个功能自行申报。

排期时还有一个隐藏成本:预生成与事后补算会占用同一批模型配额。如果预生成没有上限,它会在高峰期挤占实时调用的配额,让关键路径先超时。所以三类调用要有各自的配额,且实时调用的优先级最高。

配额分成三层,职责不同:

  1. 实时预留。 按峰值并发留出的容量,任何情况下不被预生成占用。
  2. 预生成日预算。 每天允许消耗的调用量与金额上限,用完即停,不自动续。
  3. 事后排队。 没有硬截止的调用进入队列,按空闲容量消费,可以被推迟到次日。

三层配额的意义是让「什么时候可以省钱」变成一个显式决策。没有配额,预生成会在凌晨跑满、在高峰期与实时调用抢资源,而它的负责人看不到这笔账。

什么时候不该异步

异步不是万能解。以下三类调用必须留在路径上,即使它们很慢:

  • 结果会被同一回合的下一步依赖。 异步返回时,下一步已经基于旧结果做完了,异步等于让玩家用过期信息决策。
  • 公平性要求双方看到同一份信息。 先算好再读取,读到的是生成时刻的局势,而不是当前局势;PvP 里这会被读成「对手提前知道」。
  • 玩家需要即时回执。 动作已提交、已扣费、已排队,这些确认必须当场给出;延后确认会让玩家重复点击。

三类有一个共同点:异步会改变产品语义,而不只是改变耗时。判断时先问「晚一点拿到结果,产品行为会不会变」,会变就不要异步。

预生成:把实时问题换成命中率问题

预生成的核心不是「提前调用模型」,而是「把一次实时生成换成一次查表」。方舟的做法是维护一个候选池:10 个局势标签,每个标签 20 条候选,共 200 条。命中时只做状态装配与后处理,耗时降到 150ms 左右。

候选池的规模由两个数决定:标签数量与每标签候选数。标签越细,命中越准,但池子越大、维护成本越高;每标签候选越少,重复感越强。10 × 20 是方舟的取值,它的目标是命中率不低于 60%——低于这个数,缓存路径的收益抵不过维护成本。

预生成有三个容易踩的坑:

  • 标签漂移。 标签规则一改,旧候选与新标签不再对应,必须整体标记过期。标签要有版本号,缓存键里带上版本。
  • 风格漂移。 模型或提示词升级后,旧候选的语气与新生成不一致,玩家会感到角色忽冷忽热。升级时必须主动淘汰,而不是等它自然过期。
  • 成本失控。 200 条候选不是免费的:按单次 0.0048 元计算,一轮全量预生成约 0.96 元;如果每个版本、每个活动都全量重跑,成本会随迭代次数线性增长。预生成要有预算与触发条件,不能由运营随手点。

第三个坑常被忽略,因为单次成本看起来很小。真正的问题是频率:全量重跑一次不到一元,但一天跑十次、十个活动各跑一次,一个月就是几百元,而且大部分候选从未被命中。

事后补算:赛后点评与运营内容

赛后点评是最适合挪出关键路径的一类。玩家离开战斗后,点评晚几秒出现没有任何影响;消消的 2,000ms 预算正是为这类调用准备的。

事后补算要做好三件事:

  1. 结果要能推送。 玩家可能已经关掉结算页,点评要能通过消息或下次登录呈现。
  2. 失败要静默。 补算失败不该弹错误,最多不显示点评;它不在玩家等待的路径上,失败成本很低。
  3. 要有去重。 同一场对局重复触发补算,会产生多条点评;以对局 id 做幂等键。

运营内容与赛后点评同类,但多一条约束:它必须在活动上线前完成,而不是「尽快」。批量生成要按上线时间倒排,留出人审时间;没有人审的批量内容,会在上线当天变成内容事故。

把调度写成可运行的排期

下面的模块把触发点分类、在路径预算相加、过期判定与候选挑选写成函数。它不调用模型,只回答「这个调用放在哪、这条路的总预算够不够」。

// file: src/realtime/offload.ts
// tier: L1
// verify: node --test test/realtime/offload.test.ts

// 关键路径上只留「玩家正在等」的调用,其余全部挪走。
// 判断标准不是任务重不重,而是这一次调用发生时有没有人在等。

export type Trigger =
  | "player-input"
  | "turn-start"
  | "match-end"
  | "level-start"
  | "scheduled"
  | "operator-request";

export type Route = "inline" | "precompute" | "deferred";

export type CallSite = {
  readonly name: string;
  readonly trigger: Trigger;
  readonly deadlineMs: number;
  readonly batchable: boolean;
};

// 三种去路:在路径上等、提前算好、事后补算。
export function routeCall(site: CallSite): Route {
  if (site.trigger === "player-input" || site.trigger === "turn-start") return "inline";
  if (site.trigger === "level-start" || site.trigger === "match-end") return "precompute";
  return site.batchable ? "deferred" : "inline";
}

export type Plan = {
  readonly inline: readonly string[];
  readonly precompute: readonly string[];
  readonly deferred: readonly string[];
  readonly inlineBudgetMs: number;
};

// 在路径上的总预算不能靠「每个调用都很快」保证,必须显式相加。
export function planCalls(sites: readonly CallSite[], totalBudgetMs: number): Plan {
  const inline: string[] = [];
  const precompute: string[] = [];
  const deferred: string[] = [];
  let inlineBudgetMs = 0;
  for (const site of sites) {
    const route = routeCall(site);
    if (route === "inline") {
      inline.push(site.name);
      inlineBudgetMs += site.deadlineMs;
    } else if (route === "precompute") {
      precompute.push(site.name);
    } else {
      deferred.push(site.name);
    }
  }
  if (inlineBudgetMs > totalBudgetMs) {
    throw new Error(`inline budget ${inlineBudgetMs}ms exceeds ${totalBudgetMs}ms`);
  }
  return { inline, precompute, deferred, inlineBudgetMs };
}

// 预生成的内容有保质期:局势标签变了,旧内容就不再可用。
export type Precomputed = {
  readonly tag: string;
  readonly createdAtMs: number;
};

export function isStale(item: Precomputed, nowMs: number, toleranceMs: number): boolean {
  return nowMs - item.createdAtMs > toleranceMs;
}

// 命中要求标签完全一致;跨标签复用会把别的局势的话安到当前局势上。
export function pickCandidate(
  candidates: readonly Precomputed[],
  tag: string,
  nowMs: number,
  toleranceMs: number,
): Precomputed | undefined {
  return candidates.find((c) => c.tag === tag && !isStale(c, nowMs, toleranceMs));
}

routeCall 把「有没有人在等」翻译成触发点判断。它故意不接收「预计耗时」参数:耗时再短的调用,只要玩家在等,就属于关键路径;耗时再长的调用,只要没人等,就不该占用预算。

planCalls 在超预算时抛错,而不是自动把某个调用挪走。自动挪走会让排期结果取决于调用顺序,产品无法解释为什么这一次点评被推迟;显式失败逼调用方自己决定牺牲哪一个。

pickCandidate 同时检查标签与新鲜度。两个条件缺一不可:标签对但过期,说明局势已经变了;新鲜但标签不对,说明这是另一段局势的话。只检查其中一个,都会让缓存路径输出与当前局面脱节的内容。

(本段代码与 src/realtime/offload.ts 逐字节一致,测试对应 test/realtime/offload.test.ts。)

验收:三个比例

异步化的效果不看单次延迟,看三个比例:

比例口径异常信号
在路径调用占比inline 调用数 / 总调用数上升说明新功能不断往关键路径上挤
预生成命中率命中数 / 可命中数低于 60% 说明候选池或标签设计有问题
预生成过期率过期条目 / 总条目偏高说明保质期太短或局势变化太快

三个比例要一起看。命中率高但过期率也高,说明候选池一直在追着局势跑,维护成本会持续上升;在路径占比低但延迟没改善,说明挪走的不是真正的瓶颈。

还要监控预生成对实时调用的挤占。配额是分开的,但模型侧的总容量有限;高峰期预生成跑满,实时调用仍会排队。这个信号不在上面三个比例里,需要单独看实时调用的排队时长。

两个实现层面的反模式

把「异步」做成 fire-and-forget 是最常见的错误:调用发出去了,结果没人接,玩家永远等不到点评。异步必须有结果通道与幂等键,否则它只是把失败藏了起来。

第二常见的是在玩家等待时同步触发预生成。加载条看起来遮住了等待,实际上预生成的耗时会叠加到加载时间上;预生成必须由定时任务或空闲时段触发,不能在加载回调里现算。

小结

  • 判断一个调用该不该留在关键路径,只问「有没有人在等」。
  • 触发点比功能更稳定,按触发点分三类:在路径、提前算好、事后补算。
  • 在路径上的预算必须相加,且调用数量应当是一个被明确限制的数字。
  • 预生成把实时问题换成命中率问题,候选池规模由标签数与每标签候选数决定。
  • 标签要版本化,模型升级要主动淘汰旧候选,预生成要有预算与触发条件。
  • 事后补算要有结果通道、静默失败与幂等键。
  • 验收看三个比例:在路径占比、命中率、过期率,另看预生成对实时调用的挤占。
  • 异步不能 fire-and-forget,也不能在玩家等待时现算。

阅读导航:上一节:3.1 一次思考的延迟预算 · 下一节:3.3 模型不可用时玩家看到什么 。

常见错误与边界

  1. 把异步做成 fire-and-forget。 没有结果通道与幂等键,失败会被静默吞掉,玩家永远等不到结果。
  2. 按功能而不是触发点分类。 功能会变,触发点稳定;按功能分类会导致同一链路被拆到不同预算里。
  3. 只验收单次延迟。 三次调用各 200ms 串起来就是 600ms,必须按路径相加。
  4. 预生成没有上限。 单次成本小、频率高,一个月后会变成一笔没人认领的账单。
  5. 缓存键不带标签版本。 标签一改,旧候选会以错误的方式命中,且很难在线上发现。
  6. 在加载回调里现算预生成。 加载条遮住的是等待,不是预算;现算会把耗时叠加到进场时间上。

延迟的下一个问题不是「更快」,而是「快不了的时候,玩家看到什么」。这是降级路径要回答的事。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图