posts

《大规模分布式计算深入解析·分布式消息与事件流平台内核》 · 全书目录与章节索引(45 篇)

卷九分布式消息与事件流平台内核的 45 篇索引。含主题与分区有序性、追加日志与段、ISR 与高水位、生产与消费路径、重平衡协议、事务与端到端精确一次、协议与网络、控制器与 KRaft、Pulsar 与 RocketMQ 内核、事件流处理的机制图与 Java 8 账本加 Kafka 原生探针。

卷九共 45 节,沿「一份消息如何被可靠地写入、复制与读走」阅读。前八卷从计算切分、血缘重算、状态检查点、调度湖训练,一路下钻到单机字节、跨节点交换、副本一致与存储地基;本卷把这条线接上数据入口——topic 与分区的有序边界、追加日志与段、ISR 与高水位、生产消费路径、重平衡协议、事务与端到端精确一次,再对照 Pulsar 的分段存储与 RocketMQ 的 CommitLog 两套内核,最后收口于事件流处理与实时数据基础设施。

系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核 · 卷七 分布式一致性、复制与事务内核 · 卷八 分布式存储与 KV 引擎内核 · 卷九 分布式消息与事件流平台内核 · 卷十 分布式检索与搜索引擎内核(本卷)

全书概览

项目内容
书稿《大规模分布式计算深入解析·分布式消息与事件流平台内核》
篇数45 篇(15 章 × 3 节)
领域消息模型与分区有序 × 日志存储与页缓存 × ISR 与生产消费 × 重平衡与事务 × 协议与控制器 × Pulsar 与 RocketMQ 内核 × 事件流处理
实验工程下载卷九实验包 ,Java 8 教学模型共 120 条断言,附 Kafka 4.3.0 原生探针和观测记录
上级专题书稿专题

全书目录

前置

节文章
—目录与学习路径

第 1 章 消息模型与主题结构

节文章
1.11.1 主题、分区与顺序
1.21.2 路由键与分区器
1.31.3 消费者组和并行度

第 2 章 日志存储内核

节文章
2.12.1 追加日志、段与保留
2.22.2 页缓存和顺序追加
2.32.3 Offset 与时间索引

第 3 章 副本与 ISR

节文章
3.13.1 副本因子、Leader 与 ISR
3.23.2 ISR、高水位与读边界
3.33.3 Leader Epoch 与最低同步副本数

第 4 章 生产路径

节文章
4.14.1 acks 与故障确认边界
4.24.2 批量、linger 与压缩
4.34.3 幂等生产者

第 5 章 消费路径

节文章
5.15.1 拉取、长轮询与批处理
5.25.2 提交位点与投递语义
5.35.3 Lag 口径和治理

第 6 章 重平衡协议

节文章
6.16.1 Classic JoinGroup 和 SyncGroup
6.26.2 Eager、Cooperative 与增量协议
6.36.3 分配策略和静态成员

第 7 章 事务与端到端 Exactly-once

节文章
7.17.1 事务协调器与身份
7.27.2 事务提交与 LSO
7.37.3 Kafka 内事务闭环

第 8 章 协议与网络

节文章
8.18.1 Kafka 请求与版本协商
8.28.2 RecordBatch 与压缩
8.38.3 配额与 Throttle

第 9 章 控制器与元数据

节文章
9.19.1 控制器和 Broker 的分工
9.29.2 Broker 注册与心跳
9.39.3 KRaft 元数据日志

第 10 章 Pulsar 内核

节文章
10.110.1 Topic 和 ManagedLedger
10.210.2 BookKeeper 写集合与恢复
10.310.3 Bundle 路由与存算分离

第 11 章 RocketMQ 内核

节文章
11.111.1 CommitLog 与 ConsumeQueue
11.211.2 复制确认与刷盘
11.311.3 延时、事务与重试

第 12 章 事件流处理

节文章
12.112.1 Streams 拓扑、任务与重分区
12.212.2 流表二象与状态恢复
12.312.3 窗口、迟到和结果发布

第 13 章 可靠性工程

节文章
13.113.1 副本失效和重新加入 ISR
13.213.2 减少数据丢失风险
13.313.3 吞吐、延迟与 Lag 指标

第 14 章 引擎对照与生态集成

节文章
14.114.1 Kafka、Pulsar、RocketMQ 的存储比较
14.214.2 Flink 与 Spark 的 Kafka 连接器
14.314.3 事件网格与跨区域语义

第 15 章 卷九收口

节文章
15.115.1 事件平台的设计空间
15.215.2 事件流如何衔接全书
15.315.3 从 Topic 到实时基础设施

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python
books

《大规模分布式计算深入解析·分布式消息与事件流平台内核》 · 目录与学习路径(45 篇)

卷九 15 章 45 节学习路径。从消息模型与分区有序出发,经追加日志与段、ISR 与高水位、生产消费路径、重平衡协议、事务与端到端精确一次、协议与网络、控制器与 KRaft,到 Pulsar 与 RocketMQ 内核、事件流处理与实时数据基础设施,含 Java 8 模型和 Kafka 4.3.0 原生探针。

6 分钟阅读
书稿 大数据 分布式计算