《互联网产品的服务端架构·规模化与架构演进》10.1 会话归属与路由
「回声」的 IM 从三台接入机扩到十二台后,老用户频繁掉线,新增节点却几乎空转。本节把会话归属拆成粘性、存活与迁移三条约束,给出确定性路由函数与测试,复盘一次滚动发布把在线连接连续迁移两次的故障,并说明为什么加机器不等于加容量,以及扩容时该怎么选候选节点。
category
「回声」的 IM 从三台接入机扩到十二台后,老用户频繁掉线,新增节点却几乎空转。本节把会话归属拆成粘性、存活与迁移三条约束,给出确定性路由函数与测试,复盘一次滚动发布把在线连接连续迁移两次的故障,并说明为什么加机器不等于加容量,以及扩容时该怎么选候选节点。
灰度到一半时「回声」发现推荐质量下滑,团队决定回退,却只切了读开关:双写还在继续、缓存没有失效,用户半小时后仍看到新结果。本节把回退条件拆成一致性、延迟、成本、质量与可逆性五类门禁,给出判定函数的实现与测试,并复盘一次门禁名重复、失败项被覆盖的切流事故。
「回声」在切换前让新旧 Feed 链路同时写入,却发现差异看板长期为零:比对只覆盖发布事件,删除与负反馈根本没有双写。本节把双写比对拆成规范化、差异聚合与覆盖率门禁,给出实现与测试,并复盘一次假零差异导致灰度用户继续看到已删内容的切流事故。
「回声」的 Feed 链路在日活八十万后晚高峰频繁抖动,团队却拿不出可复现的基线。本节把延迟、扇出与成本拆成统一口径,给出新旧链路对比函数的实现与测试,并复盘一次只统计成功请求、漏掉超时与跨区流量,导致改造后成本反而翻倍的基线事故与统计陷阱。
内部平台上线半年,180 个服务里只有 12% 迁了过来。本节把迁移成本、双轨成本与退出成本放进同一张账,给出覆盖率与采纳判断的实现和测试,并复盘一次“先上线再推广”如何让平台和业务团队同时被套牢,最后讨论立项时该怎样估算真实收益和回迁代价。
平台组只有 5 个人,却收到从建 Kafka topic 到调 MySQL 参数的各种请求。本节把“平台提供什么、不提供什么”写成带 Owner 与 SLA 的能力清单,给出准入判断的实现与测试,并复盘一次缓存集群没有责任人、故障三小时才找到归属的事故。
「回声」从 3 个服务涨到 12 个服务后,发布仍然靠登录机器执行脚本。本节把环境职责、不可变制品与 dev→staging→prod 的晋级顺序写成可执行规则,给出制品晋级的实现与测试,并复盘一次同一次提交被构建两次、回滚时找不到可用镜像的故障。
配置错误是移动游戏线上事故的主要来源之一,而多数事故并非算错数值,而是绕过了流水线。本节把导入、校验、评审、灰度、发布与回滚写成带准入门槛的状态机,用前向迁移处理结构变化、用上一版产物处理回滚,让差异报告决定评审人数,并把审计记录绑定到版本与差异。
「回声」的客服为排查一笔退款,把包含手机号、地址和身份证号的工单导成 CSV 发到群里,随后又被同步进测试环境。本节把个人信息保护拆成最小化、脱敏和审计三件套,给出字段脱敏与审计条目的实现和测试,并复盘一次明文手机号从日志扩散到外部群的泄露。
「回声」上线青少年模式后,审核仍只分“违规”和“正常”两档,年龄判断又放在客户端,结果一条擦边内容被未成年人看到并引发投诉。本节把内容分级、年龄与处置动作拆成三个独立维度,给出词表分级与年龄准入的实现和测试,并复盘一次分级与动作脱节导致的应用商店审核驳回。
「回声」的价格接口被竞品爬虫高频抓取,团队先按 IP 封禁,误伤了合作方共享出口的三千名员工;又改成全量验证码,正常转化明显下滑。本节把单点封禁拆成多信号加权评分,给出可解释的评分、阈值与处置动作实现,并复盘一次误封引发合作方投诉的完整过程。
复盘会开得很热闹,三个月后同类故障再次发生,改进项却还停在文档里。本节把「加强监控」拆成可验收的动作,给出超期检查与动作校验的纯函数实现和测试,并复盘一次没有 owner、没有截止时间、最终被所有人遗忘的复盘闭环事故,最后给出动作表进入工单系统的落地方式。
凌晨两点的告警群里,最常见的争论是「这个要不要叫人」。本节把故障分级从技术指标拉回用户影响与资金影响,给出等级判定与自动呼人规则的纯函数实现和测试,并复盘一次 5xx 比例不高、却让三万用户无法付款且六小时无人到场的定级事故,最后给出超时升级链路的落地方式。
《裂隙战场》《群岛纪元》《泡泡工坊》对好友、关注和黑名单的需求并不相同。本节把关系链还原为有向边加不变量,比较双写事务、异步回写和读时合成三种方案,说明 A 加 B 时另一侧如何更新、失败时能否不对称,并给出可运行的有向关系存储与账号删除清理边界。
从 arch-lab 订单系统一次错误率告警查不到数据的事故切入,说明日志、指标与追踪为什么需要同一套属性 schema,给出按名字、类型、基数与敏感度校验语义约定的 Go 实现,并用 4 条事件和 8 类违规跑出本机可复现的拒绝率与稳定排序。
「回声」把可用性写进合同后,团队仍靠感觉判断能不能发布。本节把 SLI、SLO 与错误预算拆成可计算的承诺,给出成功率、错误预算与燃烧率的纯函数实现和测试,并复盘一次月底冲刺烧完错误预算却照常上线、最终触发真实客户赔付与合同口径争议的完整故障。
插件沙箱的目标不是让插件跑不起来,而是让它在越权时被拒绝、在崩溃时被隔离。本节从一次插件读取全盘文件、拖垮首页的事故出发,给出权限、作用域与配额的三层模型,用可运行的 TypeScript 模块实现最小授权审计、失败隔离与熔断,并说明每个阈值为什么必须按插件配置。
生成内容的风险不是一条审核规则能覆盖的:说错话、做错事、展示了不该展示的素材,三种失败代价完全不同。本节把可说、可做、可展示拆成三层判定,说明年龄分级只是上限检查,给出消消与方舟各自的审核抽检比例,并用可运行代码把三层顺序、动作白名单与素材白名单写成固定流程。
「回声」的月度计算账单多出 12 万元,成本看板却只有一个总额,六个星期没人说清是哪条链路。本节把闲置回收拆成证据、负责人和护栏三个条件,让预算成为上线前的布尔判断,给出预算准入与回收金额的 Go 实现和测试,并复盘一次只报总额、回收脚本误删季度任务的事故。
记忆能力越强,越要先回答「这条为什么必须在」。本节把记忆字段按敏感度与用途两层分类,给出公开、个人、敏感三档保留期,说明删除请求如何按玩家整体执行、期限怎么判定,以及假名化能解决什么、不能解决什么,最后列出与法务、客服对接时必须固定的四个接口。