《大规模分布式计算深入解析》7.2 事务提交与 LSO

把多分区 marker 和消费者可见范围连起来。

把多分区 marker 和消费者可见范围连起来。

实现机制

协调器记录终局并安排参与分区追加 marker,恢复时继续处理未完成工作。控制记录和普通日志记录有不同用途。

read_committed 的可见上界受 LSO 限制并跳过中止记录。分区的最后稳定位置被开放事务压住,后续非事务数据也可能等待。

本章流程图见 7.1 事务协调器与身份 。

提交与中止时序

sequenceDiagram
 participant P as 处理进程
 participant C as Kafka 事务协调器
 participant O as 输出分区与位点主题
 P->>C: 初始化事务身份与 epoch
 P->>O: 写输出,注册对应消费组位点
 alt 决议提交
  P->>C: EndTxn commit
  C->>O: 写 commit marker
  Note over O: read_committed 在本分区 LSO 推进后读取有效记录
 else 协调器决定中止
  C->>O: 写 abort marker
  Note over O: read_committed 跳过中止数据
 end
 Note over P,O: 外部 DB 或 HTTP 副作用需另行保证

验证

在同一分区排开放事务、普通写和 commit marker,画 before/after 可见区间。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图