卷九共 45 节,沿「一份消息如何被可靠地写入、复制与读走」阅读。前八卷从计算切分、血缘重算、状态检查点、调度湖训练,一路下钻到单机字节、跨节点交换、副本一致与存储地基;本卷把这条线接上数据入口——topic 与分区的有序边界、追加日志与段、ISR 与高水位、生产消费路径、重平衡协议、事务与端到端精确一次,再对照 Pulsar 的分段存储与 RocketMQ 的 CommitLog 两套内核,最后收口于事件流处理与实时数据基础设施。
系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核 · 卷七 分布式一致性、复制与事务内核 · 卷八 分布式存储与 KV 引擎内核 · 卷九 分布式消息与事件流平台内核 · 卷十 分布式检索与搜索引擎内核(本卷)
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《大规模分布式计算深入解析·分布式消息与事件流平台内核》 |
| 篇数 | 45 篇(15 章 × 3 节) |
| 领域 | 消息模型与分区有序 × 日志存储与页缓存 × ISR 与生产消费 × 重平衡与事务 × 协议与控制器 × Pulsar 与 RocketMQ 内核 × 事件流处理 |
| 实验工程 | 下载卷九实验包 ,Java 8 教学模型共 120 条断言,附 Kafka 4.3.0 原生探针和观测记录 |
| 上级专题 | 书稿专题 |
全书目录
前置
| 节 | 文章 |
|---|---|
| — | 目录与学习路径 |
第 1 章 消息模型与主题结构
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 主题、分区与顺序 |
| 1.2 | 1.2 路由键与分区器 |
| 1.3 | 1.3 消费者组和并行度 |
第 2 章 日志存储内核
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 追加日志、段与保留 |
| 2.2 | 2.2 页缓存和顺序追加 |
| 2.3 | 2.3 Offset 与时间索引 |
第 3 章 副本与 ISR
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 副本因子、Leader 与 ISR |
| 3.2 | 3.2 ISR、高水位与读边界 |
| 3.3 | 3.3 Leader Epoch 与最低同步副本数 |
第 4 章 生产路径
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 acks 与故障确认边界 |
| 4.2 | 4.2 批量、linger 与压缩 |
| 4.3 | 4.3 幂等生产者 |
第 5 章 消费路径
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 拉取、长轮询与批处理 |
| 5.2 | 5.2 提交位点与投递语义 |
| 5.3 | 5.3 Lag 口径和治理 |
第 6 章 重平衡协议
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 Classic JoinGroup 和 SyncGroup |
| 6.2 | 6.2 Eager、Cooperative 与增量协议 |
| 6.3 | 6.3 分配策略和静态成员 |
第 7 章 事务与端到端 Exactly-once
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 事务协调器与身份 |
| 7.2 | 7.2 事务提交与 LSO |
| 7.3 | 7.3 Kafka 内事务闭环 |
第 8 章 协议与网络
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 Kafka 请求与版本协商 |
| 8.2 | 8.2 RecordBatch 与压缩 |
| 8.3 | 8.3 配额与 Throttle |
第 9 章 控制器与元数据
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 控制器和 Broker 的分工 |
| 9.2 | 9.2 Broker 注册与心跳 |
| 9.3 | 9.3 KRaft 元数据日志 |
第 10 章 Pulsar 内核
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 Topic 和 ManagedLedger |
| 10.2 | 10.2 BookKeeper 写集合与恢复 |
| 10.3 | 10.3 Bundle 路由与存算分离 |
第 11 章 RocketMQ 内核
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 CommitLog 与 ConsumeQueue |
| 11.2 | 11.2 复制确认与刷盘 |
| 11.3 | 11.3 延时、事务与重试 |
第 12 章 事件流处理
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 Streams 拓扑、任务与重分区 |
| 12.2 | 12.2 流表二象与状态恢复 |
| 12.3 | 12.3 窗口、迟到和结果发布 |
第 13 章 可靠性工程
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 副本失效和重新加入 ISR |
| 13.2 | 13.2 减少数据丢失风险 |
| 13.3 | 13.3 吞吐、延迟与 Lag 指标 |
第 14 章 引擎对照与生态集成
| 节 | 文章 |
|---|---|
| 14.1 | 14.1 Kafka、Pulsar、RocketMQ 的存储比较 |
| 14.2 | 14.2 Flink 与 Spark 的 Kafka 连接器 |
| 14.3 | 14.3 事件网格与跨区域语义 |
第 15 章 卷九收口
| 节 | 文章 |
|---|---|
| 15.1 | 15.1 事件平台的设计空间 |
| 15.2 | 15.2 事件流如何衔接全书 |
| 15.3 | 15.3 从 Topic 到实时基础设施 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 卷九 目录与学习路径 :45 篇的三条阅读路线、九卷主线对照、十五章依赖关系与逐节索引。
- 卷十 分布式检索与搜索引擎内核 :本卷下游的检索内核,事件流平台是写入路径与生态集成的上游。
- 卷八 分布式存储与 KV 引擎内核 :追加日志、页缓存与段是本卷日志内核的存储地基。
- 卷三 流计算与状态引擎:Flink 内核 :状态检查点与两阶段提交,是本卷事务与端到端一致性的消费侧。
- 卷七 分布式一致性、复制与事务内核 :共识多数派和事务提交提供对照,本卷按 Kafka、BookKeeper 与 RocketMQ 各自的复制条件展开。