《Java 消息中间件·Kafka 内核与客户端》12.1 官方压测工具与方法论
kafka-producer-perf-test.sh 只输出九列,但每一列都可能被误读。本节逐个拆开 num-records、record-size、throughput 与已弃用的 producer-props,贴出三次同参数运行的完整原文,用 94k 与 203k 的差距说明单次数字为什么不能当基准,并划清客户端数字与 broker 真实能力之间的边界。
tag
kafka-producer-perf-test.sh 只输出九列,但每一列都可能被误读。本节逐个拆开 num-records、record-size、throughput 与已弃用的 producer-props,贴出三次同参数运行的完整原文,用 94k 与 203k 的差距说明单次数字为什么不能当基准,并划清客户端数字与 broker 真实能力之间的边界。
分区数不是免费的并行度。本节在 1、10、50、200 个分区的 topic 上实测:每个分区稳定占用 1 个文件描述符和 2 个 mmap 区域,controller 元数据日志约 105 字节/分区,启动加载 261 个空日志要 780 毫秒,并解释为什么上千分区会同时拖慢选举、再平衡与尾延迟。
follower 不是被动接收推送,而是主动向 leader 发 fetch。本节用两节点 RF=2 集群实测 acks=1 与 acks=all 的写入速率差,停掉一个 broker 后观察 min.insync.replicas=1 为何仍能写、吞吐为何反而变快,并解释 replica.fetch.* 四个参数各自管什么。
一条 Produce 请求进入 broker 后要经过 acceptor、processor、请求队列和 KafkaRequestHandler 四道关。本节用两节点集群实测线程清单与队列深度:3 个 acceptor、9 个网络线程、16 个处理线程,并解释 mute/unmute 为什么让同一条连接同一时刻只处理一个请求。
容量、文件描述符、IO 线程是三笔独立的账。本节用 JDK 25 跑出 libraryd 三档流量的容量估算表,并在容器内实测 fd:12 个新分区只增加 14 个句柄,删除主题后句柄要 60 秒才释放,而不少环境默认的软限制只有 1024,远不够 3000 分区的集群使用。
把 segment.bytes 调到 1 MB 后写入 4.5 MB 数据,观察段文件如何按 680 条一批滚出 5 个段;删除一个 .index 再模拟崩溃重启,抓住 Could not find offset index file 与 rebuilding index files 两行日志,验证索引确实是从 .log 重建的。
从一笔“已发货却查不到物流”的客诉切入,拆解下单、支付、履约、对账四个阶段各自的同步或异步边界与失败语义,说明为什么履约超时不能当成成功。给出用阶段秩、步骤名校验链路形状的 Go 实现与表驱动测试,并复盘把超时当成功导致的虚假发货与对账差额。
顺序写为什么快、零拷贝到底省掉哪两次拷贝、Kafka 为什么把缓存交给操作系统?本节把约 10 MB 数据写进单分区,用 kafka-dump-log.sh 验证 625 个批次的 position 首尾相接,再对照 /proc/meminfo 的 Dirty 值与内核脏页参数,解释刷盘抖动从哪里来。
metrics() 构造后有 77 项,跑起来变成 110 项,同一个名字在不同 group 下含义不同。本节把 producer-metrics 里与背压、批次、延迟相关的指标拆开口径:实测打满 1 MiB 缓冲时 buffer-available-bytes 归零、waiting-threads 变 1,并对比客户端 lag 为 0 而服务端 LAG 为 200 的同一条消费链路。
onSend 在调用线程、序列化之前执行,onAcknowledgement 在 Sender 线程、用户回调之前执行,这个位置差决定了埋点能不能测到真实耗时。本节实测 100 条消息的 send→ack 分布,验证链上拦截器抛异常后仍继续、ack 回调里的 headers 只读,以及 onSend 里 sleep 会等量拖慢 send()。
序列化发生在 send() 的调用线程里,而不是 Sender 线程,这决定了异常在哪抛、可变对象何时被读。本节用手写 TLV 格式在同一 topic 混写 v1/v2:严格老读者在第 4 条抛 RecordDeserializationException,宽容老读者能读完却丢掉新字段,复用字段编号则静默读错值。
自动提交不是后台定时器,它只在 poll() 里触发;提交的值是 position,而 position 在 poll 返回记录时就已推进。本节用源码和实测把这个时间差做成丢消息场景:处理 3 条,位移却已提交到 10,close() 时更进一步到 20。
4.3.0 的 Fetcher 只剩 9,378 字节,因为拉取逻辑被拆进了 AbstractFetch、FetchCollector、CompletedFetch 和 FetchBuffer。本节把 poll 的一次完整路径走一遍,说明请求按 leader 节点合并、分区不按 lag 排序,以及 max.poll.records 与两个字节上限的真实关系。
KafkaConsumer 在 4.3.0 里只是一个门面,真正的实现是 ClassicKafkaConsumer 或 AsyncKafkaConsumer,分支点在 ConsumerDelegateCreator 而不是 KafkaConsumer 本身。本节用源码和三次运行把默认值、判定逻辑、以及为什么 getClass() 永远测不出真实实现讲清楚。
Sender 是一个 while 循环:拉就绪分区、按节点抽批、发请求、poll 响应。本节读 4.3.0 的 runOnce、sendProducerData 与 NetworkClient.poll,并用三组对照实验把 max.in.flight 与重试的乱序关系做实:5 个在途出现 9 处乱序,1 个在途与开启幂等均为 0 处。
每个分区一条双端队列、每个批次占满 16 KB 缓冲、整块内存由 BufferPool 统一分配。本节读 4.3.0 的 append、ready 与 allocate,实测 32 KB 缓冲池被打满后 send() 阻塞 5 秒,并纠正一个常见说法:异常不是从 send() 抛出的,而是从 Future 里拿到的。
KafkaProducer 只有两个线程:调用 send() 的应用线程,和跑 Sender 循环的 kafka-producer-network-thread。本节逐行读 4.3.0 的 send() 与 doSend(),实测回调跑在哪个线程、close() 在回调里为什么被降级成零超时,并划出共享状态与线程安全的边界。
从 arch-lab 订单系统一次乱序推送把实例配置从 v87 拉回 v85 的事故切入,对比推送与轮询的延迟、一致性和故障面,给出以版本水位拒绝陈旧快照、区分重复与冲突、并用新版本重发旧内容实现回滚的 Go 实现与本机可复现的真实测试输出。
周会上两张报表差了三万多元:一张含退款,一张不含,双方都认为自己是对的。文章先定义 GMV、订单数、退款数和净 GMV 的口径,再说明业务库与财务库对不上时如何用容差和完全相等条件判断,并给出 Row、Totals、Aggregate、Check 的 Go 实现和真实测试输出。
group.protocol 一个取值就换掉整套消费组实现:classic 走客户端分配和 JoinGroup/SyncGroup,consumer 走服务端分配和 ConsumerGroupHeartbeat。本节用反射打印真实实现类,核实 4.3.0 源码里的分支,再从 __consumer_offsets 读出 KIP-848 新增的五种记录,并给出迁移时必须先改的配置。