《大规模分布式计算深入解析》2.2 提交索引、状态机与幂等重放

区分持久化、提交、应用和响应,说明请求去重、快照和追赶速率。

从日志到状态机

边界负责的保证
本地 WAL 持久化重启能够重放日志,单副本可早于全局提交
commitIndex已提交前缀的上界,跟随当前配置和协议
appliedIndex本地状态机已经应用的水位,小于等于已提交水位
客户端回复返回应用结果的接口应在成功应用后响应,超时可能已有结果

应用通过确定性命令推进。事务内同时记录业务状态、请求 ID 对应的结果与应用水位,重放时复用结果。外部网络副作用可以通过持久化 outbox 加接收端去重或围栏,保证范围取决于接收端。快照包含复用所需的去重状态,过期策略需覆盖客户端允许重试的窗口。

若应用水位为 97、提交水位为 100,滞后是 3 条。积压 100 万条、应用 5 万条/s、没有新写入时约 20 s,持续新增 4 万条/s 时,理想净速率为 1 万条/s,约 100 s。应用容量小于等于写入速率时,有限追平时间没有保证。

验证

从卷七实验包 解包,运行 Java 应用滞后断言及 python3 protocol-counterexamples.py,用快照前后的同一请求 ID 演算重放。

一手资料

卷七目录 · 系列导读与实验

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图