维护模式排水架构:不停服世界如何温柔地关门

讨论游戏服务端进入维护、版本切换或区域关闭时的排水架构,包括入口冻结、房间自然结束、状态保存、玩家提示和兜底踢下线。

背景:问题通常不是突然出现的

游戏维护并不是简单地把服务器关掉。玩家可能正在排位赛最后一局,公会战正在结算,商城订单刚回调,世界服还有几百个队伍在副本里。粗暴关服会制造补偿、投诉和数据修复。维护模式排水架构要做的是让系统逐层进入只出不进状态:新玩家不再进入风险区域,已在进行的玩法尽量自然结束,不能结束的状态被明确保存和补偿。

很多团队把维护开关做成全局禁止登录,已经在线的玩家继续玩,等时间到了统一断开。这会留下大量边界问题:匹配池里有人但不开局,房间创建到一半失败,支付到账但发货服务停止,活动结算和维护时间重叠。维护不是一个开关,而是一组状态机。

维护排水可以分为公告期、入口冻结期、玩法排水期、强制收口期、验证恢复期。每个服务都应知道自己在当前阶段能接收什么请求、拒绝什么请求、如何给客户端返回可理解的原因。控制面负责发布阶段,业务服务负责执行本地排水。

架构视图

stateDiagram-v2
  [*] --> Normal
  Normal --> Announced: 发布维护公告
  Announced --> EntryFrozen: 禁止新入口
  EntryFrozen --> Draining: 等待房间/任务自然结束
  Draining --> ForceClose: 超过排水窗口
  ForceClose --> Verifying: 保存状态并踢出
  Verifying --> Normal: 维护完成
  Verifying --> EntryFrozen: 验证失败继续冻结

这张图只画核心路径,实际项目里还会有权限、审计、配置中心、监控和客服后台。画图的意义不是把系统画复杂,而是帮助团队确认:请求从哪里来,在哪里排队,在哪里决策,失败后走哪条路,证据落在哪里。只要这些路径在图上说不清,代码里通常也不会清楚。

设计要点 1:边界先于实现

入口冻结要细分。登录入口、匹配入口、副本入口、商城入口、活动领取入口风险不同。维护前 30 分钟可以禁止新排位和长副本,但允许日常领取;维护前 5 分钟可以禁止商城购买,避免支付回调跨维护;登录可以保留只读公告模式。细分入口能减少玩家损失,也减少补偿范围。

设计要点 2:把失败路径显式化

房间排水需要房间自报状态。控制面不知道每个房间是不是接近结束,房间服应该上报 phase、remainingTime、canFinishNaturally、hasSettlementRisk。维护控制器根据这些信息决定等待还是强制关闭。对局类房间可以设置最大等待,副本类可以保存进度,世界事件可能需要立即冻结结算。

设计要点 3:让版本成为一等公民

强制收口要有补偿语义。不是所有玩法都能自然结束,系统必须定义强关后的结果:排位是否不计分,副本门票是否返还,活动次数是否恢复,掉落是否按已完成进度结算。这个规则不能靠客服临时判断,应写进服务端并进入审计日志。

设计要点 4:控制成本而不是逃避成本

维护期间的写入通道不能全部停掉。支付回调、账号保存、房间结算、邮件补偿这些关键写入往往需要继续工作,只是前台入口停止。把所有服务一起停,会让外部平台回调失败,后续补单更复杂。更稳妥的是把系统分成前台入口、玩法执行、结算写入、后台修复四层,按顺序排水。

设计要点 5:证据链要能回答争议

恢复阶段要做验证,而不是维护结束瞬间全量放开。先打开内部白名单,检查配置版本、核心服务健康、队列积压、支付回调、登录链路,再逐步放开玩家入口。一次维护后最危险的不是停机,而是带着半坏状态重新接客。

落地前先问清楚的问题

  1. 这个模块的权威状态在哪里,谁有资格修改它,谁只能读取派生结果?
  2. 失败时玩家会看到什么,是重试、等待、回滚,还是收到明确拒绝?
  3. 当前设计是否能解释一次争议事件,能否在日志里找到版本、输入、决策和输出?
  4. 高峰期最先耗尽的是 CPU、内存、网络、数据库连接,还是人工处理能力?
  5. 如果配置、代码、外部依赖或某个节点突然异常,系统能否先止血,再慢慢恢复?

这些问题看起来基础,却能过滤掉很多只在白板上成立的方案。游戏服务端和普通后台最大的差异,是玩家行为密集、状态变化快、事故影响带情绪。一套架构如果只能处理正常路径,不能处理迟到、重复、失败、撤销和解释,迟早会在 LiveOps 阶段暴露。

关键取舍

取舍点偏保守方案偏激进方案建议
一致性更多同步确认,状态更稳更多异步和缓存,吞吐更高资产、结算、处罚偏保守;展示、提示、统计偏异步
延迟等待更多证据快速响应并事后校正实时玩法先保证手感,再用权威结果修正
存储保存完整过程只保存最终结果对争议点保存过程,对低价值事件采样
配置严格审批快速热更高风险配置灰度,低风险配置提高效率
自动化自动决策人工兜底自动化负责止血和定位,最终高风险处置保留人工入口

架构不是把所有旋钮都拧到最安全。游戏业务有很强的时效性,活动窗口、赛季节奏、主播场次、版本发布都会要求系统快速变化。真正成熟的设计,是知道哪些地方必须慢,哪些地方可以快,哪些地方快了以后必须留下撤销和解释能力。

实施清单

  • 定义清楚模块边界:入口、执行、存储、观察、运营控制不要混在一个类里。
  • 为所有外部请求和内部命令设计幂等键,尤其是奖励、扣费、结算、处罚。
  • 给状态变化记录版本号,包括配置版本、代码版本、协议版本和策略版本。
  • 区分玩家可感知错误和内部错误,客户端需要拿到能行动的结果。
  • 建立核心指标:成功率、拒绝率、延迟分位、队列积压、降级次数、人工介入次数。
  • 准备回滚路径:配置回滚、开关熔断、局部重同步、补偿任务、死信重放。
  • 在压测里模拟坏情况:重复请求、乱序请求、慢依赖、节点重启、队列堆积。
  • 让客服和运营能查询证据,而不是只能把问题丢给研发翻日志。

每一项都不华丽,但它们决定系统在压力下是可控还是失控。很多线上问题不是因为某个算法不高级,而是因为没有幂等、没有版本、没有观测、没有回滚。

一个贴近真实项目的演进路径

第一阶段通常是单服单进程,所有逻辑在一个房间或一个账号对象里完成。这个阶段最重要的是把事件、命令和状态变化的概念留出来,不要过早把数据库表当成业务边界。只要接口有幂等键、日志有版本、核心流程有状态机,后面拆服务不会太痛苦。

第二阶段开始遇到高峰和运营需求。此时不要急着把所有模块拆成微服务,而是先把入口控制、异步队列、配置版本、归档日志补上。很多性能问题可以通过分片和读模型解决,不一定需要复杂的分布式事务。反过来,如果基础证据链没有建好,服务拆得越多,排障越困难。

第三阶段才是多区域、多玩法、多版本并行。这个阶段要重点治理控制面:调度、灰度、熔断、观测、权限、审计。游戏服务端越到后期,最贵的不是写一个新功能,而是在不伤害玩家资产和体验的情况下改动旧系统。控制面做得好,团队才敢持续运营。

常见误区

第一,把数据库事务当成架构边界。事务能保护一次写入,却不能解释跨系统流程,也不能替你处理重复、乱序和撤销。

第二,把日志当成回放。日志如果没有结构、版本和索引,只是文本噪声;真正能用于复盘的数据,需要从设计阶段就确定字段和生命周期。

第三,把开关当成万能止血。没有权限、没有传播确认、没有客户端提示、没有演练的开关,在事故时往往不敢用。

第四,把客户端体验和服务端权威对立起来。成熟系统通常是客户端先预测,服务端做最终裁决,再用局部校正把体验拉回来。

第五,过早追求通用平台。游戏架构当然需要抽象,但抽象必须来自重复出现的真实问题。为了通用而通用,最后会让业务团队绕着平台写补丁。

观测与排障

建议为这一类系统建立三层观测。第一层是业务指标,让值班人员知道玩家是否受影响,例如失败率、延迟、拒绝次数、补偿量、投诉量。第二层是技术指标,让研发知道瓶颈在哪里,例如队列长度、窗口缺口、缓存命中、数据库冲突、RPC 超时。第三层是证据链,让具体事件能被还原,例如请求 id、玩家 id、房间 id、配置版本、策略版本、输入摘要、裁决结果。

排障面板不要只给平均值。游戏问题经常发生在尾部:某个区服、某个玩法、某个版本、某个活动桶。指标必须能按这些维度切分。一次 99 线延迟升高,可能只影响高段位匹配;一次奖励重复,可能只发生在某个灰度配置。没有维度,就只能靠猜。

日志采样也要分级。正常路径可以采样,失败路径和高价值状态变更必须全量记录。对于涉及资产、处罚、结算的操作,宁可多花一点存储,也不要在争议时发现关键字段没有记录。

工程细节补充:维护状态要下沉到每个业务服务

维护控制面发布阶段只是第一步,真正执行还在各业务服务。每个服务都应声明自己支持哪些维护阶段,以及每个阶段如何处理请求。匹配服务在 EntryFrozen 阶段拒绝新匹配,但允许取消匹配;房间服务在 Draining 阶段拒绝新房间,但允许已有房间结算;商城服务在支付冻结阶段禁止下单,但继续处理平台回调。

客户端提示也要跟上。玩家点击按钮后看到“系统错误”和看到“服务器将在 10 分钟后维护,当前玩法已停止进入”是完全不同的体验。服务端返回错误码时应带上 maintenanceStage、retryAfter、displayMessageKey,客户端用本地文案展示。不要把维护体验完全交给公告弹窗。

维护演练可以从小范围开始。比如只对一个测试区服开启入口冻结,检查匹配、房间、支付、任务、邮件是否按预期响应。演练记录要沉淀成 runbook:谁发起、检查哪些面板、如何确认排水完成、如何恢复。真正维护窗口里,值班人员需要的是清单,不是临场发挥。

结语

游戏服务器端架构的难点,从来不只是“能不能跑起来”。真正的挑战是系统在网络抖动、玩家高峰、配置热更、服务重启、运营误操作和争议投诉中,仍然能保持边界清晰、状态可信、过程可查。

这篇文章讨论的方案不要求一次性全部做完。更现实的做法,是先把核心状态和高风险路径纳入同一套原则:有版本、有幂等、有观测、有回滚、有证据。只要这些基础能力持续积累,后面的扩容、拆分、灰度和自动化才会变成顺理成章的演进,而不是一次又一次被事故推着走。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页