《后端架构设计·分布式与数据一致性》11.2 任务分片、幂等重跑与进度检查点
把 1000 个未支付订单拆成 4 个分片,用每 10 条提交一次的检查点跑批;在副作用之后、检查点提交之前注入崩溃,实测重放 7 条、去重后副作用仍为 1000 次,并给出带 epoch 的检查点与幂等 Sink 的 Go 实现和崩溃恢复边界。
tag
把 1000 个未支付订单拆成 4 个分片,用每 10 条提交一次的检查点跑批;在副作用之后、检查点提交之前注入崩溃,实测重放 7 条、去重后副作用仍为 1000 次,并给出带 epoch 的检查点与幂等 Sink 的 Go 实现和崩溃恢复边界。
用 20 个结算任务与 3 个 worker 的确定性模拟,比较全量轮询、claim 抢占和领导者选举在重复触发、空转与故障恢复上的差异;给出带 epoch 围栏的 Go 租约与选举实现,并用暂停 leader 恢复后写入被拒的测试验证围栏不变量,附原始测试输出。
从 arch-lab 一个新服务开通花了十一天、前后经手六张工单却没人对结果负责的场景切入,说明黄金路径为什么必须是带版本和输入校验的可执行模板而不是自由文本工单,并给出带审批、失败注入、补偿回滚与重试预算的自助状态机 Go 实现与本机测试输出。
从 arch-lab 订单团队为一条部署流水线连开三张工单、却没有人对结果负责的场景切入,说明平台能力目录为什么必须先写非目标与退出条件,如何用五种需求路由处理新建、扩展、迁移与等待,并给出带依赖环和退役替换校验的 Go 实现与本机测试输出。
从一次密钥轮换把旧密文全部锁死、审计日志又无法证明完整性的双重事故切入,给出密钥版本重叠窗口、轮换状态机、SHA-256 审计哈希链与租户导出的 Go 实现,并附篡改、断号、尾部截断和轮换边界的本机测试输出与合规判据,说明哈希链挡不住尾部截断。
锁会过期、会丢、会被主从切换绕过,但库存不超卖、订单状态单向推进、支付回调只生效一次仍然可以成立。本节把这三条不变量写成可运行的 Go 条件更新与幂等代码,在完全不用分布式锁的 200 并发下实测成功预占恰好 50 次、库存不为负,并给出锁、版本号与幂等键的职责切分。
结算任务在租约过期后仍继续写库存,是分布式锁最常见的生产事故。本节用可运行的 Go 租约管理器与 fencing token 存储复现两个持有者同时写入,实测陈旧 token 被拒绝、无 fencing 时迟到写入覆盖新值,并给出 Redis 主从切换、Redlock 与进程暂停下的安全边界。
订单号生成器看似只需时间戳加机器号,真实故障却来自时钟回拨、机器号重复和单毫秒序列溢出。本节用可运行的 Go 实现拆解 Snowflake 的位分配与回拨策略,再给出号段模式的双缓冲与数据库故障恢复,并用并发测试验证唯一性、单调性与重启后的续号行为。
从订单服务凭一个共享密钥就能读取库存和支付数据的事故切入,拆开身份认证与授权两道门,给出 HMAC 服务令牌、受众与过期校验、拒绝优先的最小权限策略求值 Go 实现,并附篡改、过期、越租户和路径前缀边界的本机测试输出,强调令牌授权与策略规则必须同时通过。
从 arch-lab 一个大租户拖慢共享订单库的事故切入,对比共享表、独立 schema 与独立库三档隔离的代价,给出隔离级别推荐、带租户前缀的分区键、跨租户校验和带容量的分片分配 Go 实现,并附 7 个测试的本机输出与从共享库升级到独立库的迁移判据。
区分冲正与补偿:冲正用反向分录修正错误记账,补偿是新的正向业务动作。给出只追加、借贷平衡的 Go 账本与幂等冲正实现,用悬挂户从 -1999 分回到 0、重复冲正被拒、128 并发过账后总额仍为零的本机测试输出,说明资金类最终一致依赖的四条不变量。
以订单支付流水与渠道账单对账为例,对比 T+1 全量与实时流式对账在覆盖、时效和成本上的取舍,给出按订单号与方向匹配、再按金额和状态分类的 Go 对账器,用九组表驱动用例展示漏单、单边、金额、重复和宽限期状态差异如何进入不同处置队列,并说明自动与人工处置的退出条件。
从支付回调重试导致重复下单的具体场景出发,拆解幂等键的租户、操作与请求三段作用域、指纹绑定和租约生命周期,给出带 fencing token 的 Go 内存实现,并用 64 并发同键、租约过期接管与保留期过期三组测试输出说明何时能安全重放、何时必须拒绝。
从 arch-lab 订单服务在滚动发布中直接加非空列、旧实例写入失败的事故切入,说明 expand、migrate、contract 三阶段各自的门禁与退出条件,给出检查阶段顺序、旧代码兼容、回填完成、版本下限与安静期的 Go 实现,并附本机测试输出与边界。
从 arch-lab 订单服务金丝雀仅凭 18 个请求就晋级、库存超时被总错误率掩盖的事故切入,拆开样本量、窗口时长、可用性、延迟与业务守卫五层判据,给出带状态机、连续窗口与自动回滚的 Go 实现,并附本机测试输出、状态迁移序列、可复现命令与回滚边界。
从 arch-lab 订单服务按标签回滚却加载了另一份字节的事故切入,拆开标签、制品摘要与环境声明的职责差异,给出不可变注册表、按摘要部署、晋级烘焙时间与运行态漂移检测的 Go 实现,并附本机测试输出、可复现命令、四条判据、边界、取舍与回退。
从订单事件乱序导致状态回退或重复发货出发,说明分区内顺序、跨分区无序与业务因果的区别,用版本号把乱序变成可重试的冲突,区分可重试错误与毒消息,给出死信分类、重放位点与对账修复的 Go 实现,并实测乱序重试收敛、重试预算耗尽进死信、重放幂等与对账修复被死信吞掉的状态,附原始输出与判据。
从支付回调重复导致余额加两次的故障出发,拆开“副作用已发生、确认未发出”的窗口,说明去重表必须与副作用同库同事务、键要带生产者作用域、保留期要覆盖重放窗口;给出可运行的 Go 实现,并实测确认丢失后的重投、朴素处理的双倍入账、去重记录过期后的重复应用,以及先标记后副作用导致的丢消息。
从订单支付后先提交数据库再发消息的崩溃窗口出发,把 outbox 行与业务行放进同一本地事务,用轮询 relay、持久位点与至少一次投递保证不丢消息;给出可运行的 Go 实现,并实测提交后崩溃恢复投递、投递后崩溃导致重复两个窗口,附原始输出与选型判据。
把一次游戏日从“跑完四个实验”变成可复核的治理闭环:用严重级别、责任人与到期日约束 Finding,要求 P1/P2 绑定修复前失败、修复后通过的回归用例,并用 SHA-256 封存证据链,给出结构化审计与内容校验的 Go 实现及变异测试。