集群升级与滚动重启实践
系统讲解 Kafka 集群升级与滚动重启实践：ZooKeeper 到 KRaft 的迁移路径、升级前兼容性检查清单、滚动重启的正确顺序与 ISR 观察、inter.broker.protocol 与 log.message.format 版本控制、客户端协议升级、监控指标与回滚预案
tag
Kafka
共 76 篇文章。
Kafka 应用测试策略：Testcontainers 与集成测试
系统讲解 Kafka 应用测试策略：测试金字塔中 Kafka 的位置、MockProducer/MockConsumer 单元测试、Embedded Kafka 与 Testcontainers 集成测试对比、Spring Boot @EmbeddedKafka 实战、端到端与契约测试、CI 中的容器编排与性能优化
压缩算法选型：lz4、zstd、snappy 与 gzip
系统讲解 Kafka 压缩算法选型：压缩发生在生产端还是 broker、lz4/snappy/gzip/zstd 四种算法的压缩比与吞吐实测、批量大小对压缩率的影响、broker 端重压缩配置、消息格式版本兼容性，以及按场景选择算法的决策方法
Kafka 与 Flink 流批一体集成
系统讲解 Kafka 与 Flink 的流批一体集成：Kafka Source 并行度与分区映射、checkpoint 与 offset 提交、两阶段提交 Sink 实现端到端精确一次、水位线与乱序处理、流批一体模式、反压与调优参数，以及生产环境常见坑
延迟队列与优先级消费实现
系统讲解 Kafka 延迟队列与优先级消费的实现：为什么 Kafka 没有原生延迟队列、定时轮询与延迟 topic 时间戳过滤、多级延迟 topic 时间轮、外部调度器方案、优先级 topic 拆分与权重消费，以及延迟精度、堆积与成本之间的权衡取舍与监控指标
消息顺序性保证与乱序治理
系统讲解 Kafka 消息顺序性保证与乱序治理：分区内有序的真实边界、分区键设计与热点分区均衡、生产端 max.in.flight 与重试导致的乱序、消费端多线程并发与顺序冲突、跨分区与全局有序的折中方案、乱序检测与序号补偿重排，以及顺序与吞吐之间的量化权衡取舍
Kafka 大消息处理
系统解决 Kafka 大消息难题：生产端与 broker 上限参数的成组放大、内存与副本同步的连锁代价、压缩与批量的覆盖边界、claim check 外存引用模式、分片与消费端重组、背压控制、对象生命周期与死信处理、方案选型对比、参数一致性排查与排错
Kafka Streams 拓扑测试
系统讲解 Kafka Streams 测试：TopologyTestDriver 初始化与输入输出通道、事件时间推进与窗口断言、状态存储校验、序列化与 Schema 测试、Testcontainers 容器化端到端集成测试、CI 中的测试策略与常见陷阱
Kafka Java 客户端参数精调
面向生产精调 Kafka Java 客户端：RecordAccumulator 缓冲与 linger 权衡、四种压缩算法选型、超时与重试参数的语义约束、消费者 fetch 与背压控制、max.poll.interval 陷阱、客户端 JMX 指标采集
Kafka 日志段与索引内部机制
拆解 Kafka 分区日志的物理实现：段文件命名与滚动、记录批次的二进制布局、偏移索引与时间索引的稀疏结构、二分查找定位、零拷贝 sendfile 与页缓存、磁盘布局与 IO 模式、日志清理压缩的段级粒度、JBOD 与 RAID 的取舍、索引损坏修复与排错要点
Kafka Streams 状态存储与 RocksDB 调优
深入 Kafka Streams 状态存储：KV 与窗口状态语义、changelog 变更日志与故障恢复、RocksDB 内存与压缩调优、standby 副本加速、再平衡下的状态迁移与本地目录管理、可查询状态、常见故障排查、恢复时间估算与调优清单
Kafka Connect 与 Debezium CDC 实战
以 Debezium 与 Kafka Connect 为核心讲透 CDC 生产落地：逻辑解码与初始快照衔接、Schema Registry 兼容性策略、重复与顺序保证、复制槽膨胀与断点续传、增量快照补救、监控指标与典型故障处置、下游幂等与吞吐调优
Scala 与 Kafka 集成实战：FS2-Kafka、Alpakka 与流式管道
从 Kafka 核心概念出发，系统讲解 Scala 生态的两大 Kafka 集成方案：FS2-Kafka（纯函数式、Cats Effect 原生）与 Alpakka Kafka（Akka Streams 版）。覆盖消费语义（at-least-once、commit 策略、事务性 exactly-once）、流式管道设计（背压、parEvalMap 并行、批处理、重试与死信队列）、Schema Registry 序列化、有状态聚合与窗口、可观测性（consumer lag、trace 传播）以及生产实践（优雅停机、rebalance 监听、Testcontainers 测试与容量调优）。
消息队列可观测性：Kafka 与 RabbitMQ 的滞后、积压与端到端延迟
系统讲解消息队列可观测性建设：Kafka 消费者滞后与分区指标、RabbitMQ 队列深度与消费速率、端到端延迟与消息追踪、消费者组再平衡观测、积压告警与容量规划，以及常见避坑与最佳实践清单。
Clojure Kafka 事件流集成：Jackdaw 客户端、序列化与位移管理
深入 Clojure 与 Kafka 的事件流集成：Jackdaw 客户端的生产者与消费者、序列化与 Schema Registry、消费位移与错误处理、与 core.async 的编排、与 Kafka Streams 的取舍、生产运维与监控，帮你把 Clojure 服务接进可靠、可观测的事件驱动架构。
Kubernetes 上的 Kafka：Strimzi Operator 生产实践
从有状态服务的视角讲透如何在 Kubernetes 上跑 Kafka：StatefulSet 的稳定网络标识与 Operator 模式的价值、Strimzi 的 Cluster Operator 与 Entity Operator 架构、核心 CRD 模型、Kafka CR 的 replicas 与 listeners 与 config 与 jvmOptions 与 storage 字段、StorageClass 与 PVC 持久化与 JBOD 与在线扩容、podAntiAffinity 与 topologySpreadConstraints 与机架感知的跨 AZ 高可用、滚动升级与扩容与分区再均衡与优雅停机、JMX Prometheus Exporter 与 PodMonitor 与 Cruise Control 监控运维，以及一整套真实踩坑清单
ksqlDB 流式 SQL：流表模型、窗口聚合与生产运维
系统讲解 ksqlDB 在 Kafka 之上做流式 SQL 处理的完整知识体系：ksqlDB 与 Kafka Streams 的关系与架构分层、STREAM 与 TABLE 的语义差异与 changelog 主键模型、CREATE STREAM 与 WITH 子句的数据映射、Schema Registry 与 Avro 集成、TUMBLING/HOPPING/SESSION 三种窗口与 GRACE PERIOD 宽限期、Push 查询与 Pull 查询的路由与一致性、物化表与持久查询、流表 join 与重分区，以及何时选 ksqlDB 何时回归 Kafka Streams 的取舍对比与生产运维踩坑
Kafka 消费延迟诊断：Lag 定位、分区倾斜与治理
从 Lag 的本质口径出发，系统讲解 Kafka 消费延迟的诊断与治理：log-end-offset 与 current-offset 的三者关系、时间口径 lag 与消息数 lag 的区别、kafka-consumer-groups.sh 与 JMX 指标采集、Prometheus 告警阈值设计、分层瓶颈定位决策树、生产端突增与网络往返瓶颈、消费端单条处理耗时与下游拖慢、GC 与序列化开销、分区倾斜与并行度扩容代价、pause/resume 背压与动态限流、降级丢弃策略与积压恢复演练，附完整参数调优清单与生产踩坑记录
Kafka 分层存储：KIP-405 冷热数据卸载与对象存储实践
深入解析 Kafka 分层存储与 KIP-405 的完整实现：从本地盘容量与成本的矛盾出发，拆解 Remote Log Manager 与 RLMM 的组件分工、local.retention.ms 等本地保留窗口与卸载触发条件、对象存储上的 segment 布局与元数据文件、冷热读写路径与回源延迟、存储成本与流量费的量化权衡，并给出启用顺序、回退风险与监控指标的生产实践。
Kafka Share Groups 与队列语义：KIP-932 共享消费模型
深入剖析 Kafka KIP-932 引入的 Share Groups 共享消费模型：从经典消费组的分区独占困境出发，讲解共享分区、记录级获取与确认、获取锁与锁超时、投递计数与重投上限、poison message 与死信队列模式、并发度突破分区数上限的并行消费、与消费组在位移模型和顺序性上的差异对比，以及适用场景、版本限制与生产迁移实践