07. Kafka Streams 流处理
Kafka Streams: KStream、KTable、窗口聚合与 Exactly-Once 语义
tag
Kafka
共 76 篇文章。
06. Kafka Connect 数据集成
Kafka Connect Source/Sink Connector、Debezium CDC、数据管道构建与 Kafka Connect 生产实践。
05. Kafka 集群与高可用架构
Kafka Broker 角色、Controller 选举机制、ISR 副本同步、Leader 故障转移与 KRaft 模式下的无 ZooKeeper 架构。
04. Topic 设计与分区策略
Kafka Topic 分区数设计、键分区顺序保证、Topic 命名规范与最佳实践，掌握高吞吐场景下的 Topic 规划方法论。
03. Kafka 消费者组与偏移量管理
Kafka 消费者: Consumer Group 机制、Rebalance、自动/手动提交偏移量
02. Kafka 生产者 API 与发送语义
Kafka 生产者: ACK 策略、重试机制、幂等性与事务消息保证
01. Kafka 核心概念与架构
Kafka 基础: Topic、Partition、Broker、偏移量与日志存储结构
Kafka 消息队列专题
Apache Kafka 是全球最广泛采用的分布式流处理平台，被用于构建高吞吐事件驱动架构、实时数据管道与流式计算系统。本专题从核心概念出发，深入讲解 Topic/Partition/Consumer Group 设计原理、生产者 ACK 策略与幂等性实现、消费者偏移量管理与再平衡机制、KRaft 元数据架构替代 ZooKeeper、Kafka Connect 数据集成与 CDC 方案、Kafka Streams 流处理编程模型，以及集群容量规划、运维监控与安全最佳实践，帮助开发者掌握 Kafka 企业级生产部署全链路能力，并深入消费组再平衡协议（Eager/CooperativeSticky/分区分配策略）、存储内核（日志段/留存策略/日志压缩/分层存储）、副本与控制器机制（ISR/HW/Leader 选举/KRaft）、broker 网络线程模型（请求队列/零拷贝/背压）、Producer 批量与吞吐调优（压缩/acks/幂等）与配额限流治理（多租户隔离/动态配额），并延伸分层存储与冷数据卸载（KIP-405/Remote Log Manager/成本与延迟）、Kubernetes 上的 Strimzi Operator 部署（Kafka CR/拓扑反亲和/PVC 扩容/滚动升级）、Share Groups 队列语义（KIP-932/ack 与超时重投/并发度）、消费延迟（Lag）分层诊断与治理（分区倾斜/并行度/背压限流）、自定义 Connector 开发（Source 与 Sink 接口/offset 与 Exactly-Once/SMT）与 ksqlDB 流式 SQL（流与表/窗口聚合/Pull 与 Push 查询/物化视图），并补齐 Debezium CDC 实战（快照与增量/事务边界/Exactly-Once）、Kafka Streams 状态存储与 RocksDB 调优（变更日志/待机副本/状态重建）、日志段与索引内部机制（稀疏索引/页缓存/索引重建）、Java 客户端参数精调（fetch 与 max.poll/心跳与重试）、Streams 拓扑测试（TopologyTestDriver/时间语义）与大消息处理（分片与引用传递/外部存储）。
09. 消息队列深度解析
RocketMQ、Kafka、Pulsar 原理对比：存储模型、事务消息、顺序消费、延迟消息与性能调优
09. Spring 集成消息队列
Spring 集成 RabbitMQ、Kafka、RocketMQ 的完整方案，涵盖事务消息、顺序消费、死信队列与消费幂等性设计
消息驱动架构（EDA）
事件驱动架构的核心概念、消息队列选型、事件契约设计与幂等性保障策略。
消息队列高级特性：死信队列、延迟消息与重试机制
深入讲解消息队列的高级特性，包括死信队列（DLQ）的设计与使用、延迟消息的实现方案、消息重试与幂等性保证，提供RabbitMQ、Kafka、RocketMQ的实战配置与代码示例。
数据同步与CDC实战：基于Debezium构建实时数据管道
深入讲解Change Data Capture（CDC）技术原理与实现方案，详解Debezium的部署与配置，提供MySQL/PostgreSQL到Kafka/Elasticsearch的实时数据同步实战案例，涵盖Schema演进与故障恢复策略。
消息队列与事件驱动架构：Kafka、RabbitMQ与事件溯源实战
深入理解消息队列在分布式系统中的角色，对比Kafka与RabbitMQ的适用场景，详解事件驱动架构（EDA）、事件溯源、CDC等模式，附完整的架构设计与代码示例。
Go 与消息队列：Kafka 和 RabbitMQ 实战
全面介绍 Go 语言中的消息队列实战，包括 Kafka 生产者与消费者、Kafka Streams、RabbitMQ 集成、AMQP 协议、消息模式、错误处理和死信队列
Webhook 高并发架构实践：Kafka + Worker 池的削峰填谷设计
Webhook 高并发架构实战：API Gateway → Kafka → Worker Pool 削峰填谷、三种 MQ 选型对比（Kafka/RabbitMQ/Redis）、Go Worker Pool 可运行代码、限流熔断、性能压测与调优、生产监控方案。