Kafka Schema Registry：消息契约管理与 Schema 演进实战
系统讲解 Kafka Schema Registry 消息契约管理：为什么需要统一 Schema、Avro/Protobuf/JSON Schema 序列化选型、兼容性级别（BACKWARD/FORWARD/FULL）、Schema 演进实战、Serdes 客户端集成、多环境契约治理与 Schema Registry 高可用运维
tag
Kafka
共 76 篇文章。
Kafka 事务与 Exactly-Once 语义：从幂等生产者到端到端精确一次
系统讲解 Kafka 事务机制与 Exactly-Once 语义：幂等生产者原理、事务协调器与两阶段提交、read-process-write 端到端精确一次模式、事务消费与隔离级别、Outbox 模式集成、事务性能代价与适用场景
设计一个消息队列系统（类 Kafka）
本文深度设计一个类 Kafka 的分布式消息队列：覆盖 topic/partition/offset 核心抽象、日志追加存储与持久化、生产者/消费者模型、副本与高可用（ISR）、消费组与重平衡、顺序与分区保证、事务与幂等，以及性能与容量规划，附存储格式、协议样例与重平衡伪代码。
CDC 与实时数据管道：Canal、Debezium、Flink CDC 的架构与实战
业务库的数据是实时的，而下游的数据仓库、缓存、搜索引擎往往是滞后的——传统 ETL 定时全量同步的延迟以"小时"计，且全量扫描对源库冲击大。CDC（Change Data Capture，变更数据捕获）改变了这一切：它从数据库的日志（MySQL binlog、PostgreSQL …
流处理测试全景指南：Kafka 管道与 Flink 作业的端到端验证
批处理系统的测试方法论已经相当成熟——给定输入文件，运行作业，对比输出即可验证。但流处理（Stream Processing）引入了一套全新的复杂性：数据没有边界（unbounded）、时间语义多层交织、乱序与延迟成为常态、Exactly-Once 保证涉及分布式协调。本指南从 Kafka 管道测试 …
ClickHouse 数据接入与 ETL
将海量数据高效写入 ClickHouse 是一门技术。本文详解 INSERT 优化、批量写入策略、Kafka 引擎集成、MaterializedMySQL、数据格式支持和分区设计。
分布式消息队列深度选型：Kafka、RocketMQ、Pulsar 与 RabbitMQ 多维对比
Kafka/RocketMQ/Pulsar/RabbitMQ 10维度选型矩阵
实时数仓架构实战：Kafka + Flink + ClickHouse 流批一体
从零构建基于 Kafka + Flink + ClickHouse 的实时数仓，涵盖数据采集、流式计算、OLAP 存储与实时大盘的全链路实战。
Kafka Connect CDC 实战：Debezium 数据同步与变更捕获
深入解析 Kafka Connect 与 Debezium 的 CDC 数据捕获架构，涵盖 MySQL、PostgreSQL Source Connector 配置，Elasticsearch 与 S3 Sink Connector 实践，Schema Evolution 策略以及 SMT 单条消息转换。
Node.js 消息队列集成实战：RabbitMQ、Kafka、BullMQ 与事件驱动架构
全面解析 Node.js 消息队列技术：RabbitMQ、Kafka、BullMQ/Bull、AWS SQS/SNS 的集成实践，涵盖异步解耦、背压控制、死信队列、Saga 模式、Exactly-Once 语义与可观测性监控。
Kafka 运维监控与故障恢复：JMX 指标、Lag 监控与分区重分配
Kafka 生产集群运维：JMX 核心指标、Consumer Lag 监控告警、分区重分配、Broker 扩缩容与数据恢复
Kafka 详解：分布式日志系统、ISR 与一致性保证
Kafka 核心架构：Broker/Topic/Partition/Replica/ISR、一致性保证、与 RabbitMQ 设计差异
Kafka 生产者与消费者实战：批量发送、ACK 策略与 Consumer Group
Kafka 客户端编程核心：Producer 批量发送与幂等性、Consumer Group 分区分配、Rebalance 与位移提交
Kafka 安全指南：SASL、SSL 与 ACL
Kafka 安全加固：SASL/SCRAM/GSSAPI 认证、SSL/TLS 加密传输、ACL 权限控制
Kafka vs RabbitMQ vs Redis Streams：消息队列选型完全指南
Kafka、RabbitMQ、Redis Streams 三大消息队列的 12 维度深度对比、吞吐量/延迟基准与 8 场景选型决策树
Kafka Streams 与 KSQL 流处理实战：窗口、Join 与状态存储
Kafka Streams DSL/Processor API、窗口操作、Join、状态存储、KSQL 查询与实时流处理实战
Kafka Connect 与 CDC 集成实战：Debezium、Schema Registry 与数据同步
Kafka Connect Source/Sink Connector、Debezium CDC 监听数据库变更、Schema Registry 与 Avro/Protobuf/JSON Schema
Go + Kafka 客户端实战：Sarama、Segmentio 与 Consumer Group
Go 开发 Kafka 应用：Sarama 与 Segmentio kafka-go 客户端、Consumer Group、事务生产者、Go 微服务集成
Redis 消息队列深度对比：Pub/Sub、Streams 与 Kafka/RabbitMQ 选型指南
深入对比 Redis Pub/Sub 与 Streams 的消息队列能力，并与 Kafka、RabbitMQ 进行全维度选型分析，附代码示例、性能基准与决策矩阵
08. Java Spring Kafka 实战
Spring Kafka 配置、@KafkaListener、并发消费者、事务与错误处理