《Java 消息中间件·Kafka 内核与客户端》6.2 经典再平衡协议
两个消费者加进同一个组,分区怎么从 3-0 变成 2-1?本节用实测时间线拆开 JoinGroup、SyncGroup、Heartbeat 三个阶段,说明 leader 成员在哪一步算分配、eager 与 cooperative 各自撤销哪些分区,以及 stop-the-world 卡在 poll() 的哪一行;再让一个消费者停 poll 超时,看它如何被踢出。
tag
两个消费者加进同一个组,分区怎么从 3-0 变成 2-1?本节用实测时间线拆开 JoinGroup、SyncGroup、Heartbeat 三个阶段,说明 leader 成员在哪一步算分配、eager 与 cooperative 各自撤销哪些分区,以及 stop-the-world 卡在 poll() 的哪一行;再让一个消费者停 poll 超时,看它如何被踢出。
位移不是消息的一部分,它被写进一个叫 __consumer_offsets 的内部 topic。本节从段文件里解出真实的 key/value,说明一个组的位移为什么全落在同一个分区,用实测输出区分「消费位置」与「已提交位移」,并把 --describe 的六列和 offsets.retention.minutes 的边界讲清楚。
客户端的 Metadata 不是一个定时器,而是由「过期」和「显式请求」两个条件驱动的缓存状态机。本篇按 4.3.0 源码逐段读 timeToNextUpdate、requestUpdate、update、failedUpdate 与 NetworkClient 的 maybeUpdate,并用 DEBUG 日志量出 2 秒和 60 秒两种 max.age 下的真实请求次数。
broker 重启后 brokerEpoch 会变,leader 变更会以一条记录进入 __cluster_metadata,再经 broker 的元数据缓存传到客户端。本篇实测分区扩容在 metadata.max.age.ms=5s 与 600s 下的可见时间差,并说明为什么 broker 掉线时客户端反而恢复得很快。
KRaft 把集群元数据本身写成一条 Raft 日志:topic 创建、broker 注册、leader 变更都是 __cluster_metadata 里的记录。本篇用 kafka-dump-log.sh 解出 4.3.0 单节点的真实记录序列,说明 controller quorum 如何选举、元数据如何提交,以及为什么 4.x 不再需要 ZooKeeper。
停掉 leader 之后,分区多久能用?答案取决于集群能不能「干净」地选出新 leader。本节实测三节点 KRaft:停 leader 后 1.8 秒新 leader 就位、数据零丢失;但停掉两个 broker 会让 controller quorum 失去多数派,整个集群连元数据都查不了——这是 KRaft 和 ZooKeeper 时代最容易被忽略的差别。
acks=all 不是「写完就成功」,它真正的含义是「等 ISR 里的副本都写完」。ISR 会收缩,收缩到低于 min.insync.replicas 时写入被拒。本节用三节点集群实测:杀掉一个 broker 仍能写,再杀一个就报 NOT_ENOUGH_REPLICAS,并解释这两个参数为什么要成对出现。
生产者明明返回了 offset 5 到 9,消费者却一条都读不到——这不是 bug,是 LEO 与高水位分离的正常状态。本节用 docker pause 冻结一个 follower,在同一秒里同时读出「leader 磁盘上有 19 条」和「消费者只能看到 16 条」,并给出 stop、pause、崩溃三种失效下 ISR 收缩的真实时序。
4.3.0 的默认分区逻辑不在 DefaultPartitioner 里,而在 BuiltInPartitioner:key 存在时用 murmur2 取模,key 为 null 时按字节粘性切换。本篇用 6 个分区的实测序列说明粘性批次、key 基数与热点 key 三种倾斜,并给出自定义 Partitioner 的完整写法和边界。
运营在后台重复点了两次“执行”,活动库存被扣了两次;审批流、状态机和幂等缺少任何一层都会出问题。文章说明草稿、待审、通过、驳回、已执行的迁移规则,终态为什么必须拒绝所有动作,以及调用方如何用幂等键和条件更新兜住重复请求,并给出 Op 与 Next 的 Go 实现和真实测试输出。
acks=0 的成功只代表写进 socket,acks=1 的成功只代表 leader 写进本地日志,acks=all 才等到 ISR 确认。本篇用单节点杀 broker 的实验量出三种取值的失败窗口,拆开 retries 与 delivery.timeout.ms 的关系,并用批次头里的 PID 与 sequence 说明幂等生产者能去掉哪一种重复。
batch.size 是批次上限,linger.ms 是等待上限,compression.type 作用在整批数据上。本篇用五组参数和磁盘日志大小把三者的相互作用拆开:为什么批次满了 linger 就不起作用、为什么压缩率取决于批次而不是单条消息,以及 CPU 与带宽如何交换。
日志不会因为被读过就删除,它的生死由 cleanup.policy 决定。本节实测 delete 策略按时间整段回收,以及 compact 策略如何把同 key 的多次写入压成最后一条、墓碑如何先删除旧值、又为什么墓碑自己还要再等一轮清理,并给出两种策略的选择边界。
一个分区在磁盘上不是一个文件,而是一组按 base offset 命名的段。本节用两次真实写入制造时间滚动,拆开 .log、.index、.timeindex、.snapshot 的职责,解释 20 条记录为什么只产生 1 个索引项,并走一遍从 offset 到字节位置的寻址路径。
单节点能验证命令,三节点才能验证副本。本节先把 listeners、advertised.listeners 与 controller quorum 三组地址的分工讲透,再用真实的单节点启动日志和一个故意写错 advertised 的失败实验,解释为什么客户端连上了却读不到元数据,最后给出可直接使用的三节点 compose。
at-most-once、at-least-once、exactly-once 不是三个开关,而是三组失败窗口的取舍。本节先打出 4.3.0 的真实默认值,再分别复现「提交早于处理」的丢失、「处理完未提交」的重复、事务提交与 abort 的可见性,最后划清 exactly-once 只在 Kafka 读写链路内成立的边界。
5 条按顺序发出的消息,消费者看到的却是另一种顺序。本节用 3 个分区实测落点 1、2、2、0、1,从 murmur2 哈希与粘性分区讲到同 key 同分区,再把分区数的三笔代价——并行上限、文件与内存、故障恢复——逐条算清楚,并给出一个可操作的分区数估算顺序。
从队列、发布订阅、日志、流四种形态的差别入手,用单节点 Kafka 发 5 条消息、两个消费组读到不同位置、消费后日志段仍完整保留的实验,说明 Kafka 为什么选分区日志,以及「消费不删数据、位移是读者自己的进度」在工程上到底意味着什么。
本卷 15 章 45 节加两个附录,按「先建立直觉、再进服务端、再读客户端源码、最后做运维」的顺序组织。这篇目录给出完整章节索引、三条阅读路径、每章回答的具体问题、读之前需要的前置知识,以及哪些实验可以跳过,方便你按手上的故障或疑问直接跳读。
本书所有实验都在同一台机器上完成:Temurin 25.0.5+8、colima 里的 Docker 29.5.2、apache/kafka:4.3.0 的 KRaft 集群。这篇前言给出单节点与三节点两套底座的完整启动命令、客户端工程的最小 pom、源码核实方法,以及「单次运行不作基准」和「未在本机执行」两条数据口径的具体用法。