Kafka 生产者与消费者实战：批量发送、ACK 策略与 Consumer Group

Mon, 17 Aug 2026 10:00:00 +0800

Kafka 作为分布式流处理平台的核心组件，其生产者（Producer）与消费者（Consumer）的设计与实现直接影响着整个系统的吞吐量、可靠性和延迟表现。无论是构建实时日志采集管道，还是搭建高并发的消息中台，深入理解 Kafka 客户端的工作机制都是每一位开发者的必修课。本文将从配置参数、发送策略、消费模型到消费者组（Consumer Group）的复杂交互，逐一拆解 Kafka 客户端编程的完整知识体系，涵盖批量发送优化、ACK 策略选择、幂等性保证、事务语义实现以及位移提交策略等关键议题，并附带 Java 与 Go 的完整实战代码，帮助你从理论到实践全面掌握 Kafka 客户端编程。

03. Kafka 消费者组与偏移量管理

Fri, 14 Aug 2026 18:03:00 +0800

1. 消费者组

Topic: orders (3 partitions)

Consumer Group: order-processors
 Consumer 1 → Partition 0
 Consumer 2 → Partition 1
 Consumer 3 → Partition 2

新增 Consumer 4 → Rebalance → 可能:
 Consumer 1 → Partition 0
 Consumer 2 → Partition 1
 Consumer 3 → Partition 2
 Consumer 4 → （空闲，无 partition 分配）

分区数 ≥ 消费者数，才能充分利用

2. 偏移量提交策略

// 自动提交（默认）
props.put("enable.auto.commit", true);
props.put("auto.commit.interval.ms", 5000);

// 手动提交（推荐，精确控制）
props.put("enable.auto.commit", false);

consumer.subscribe(Arrays.asList("orders"));
while (true) {
 ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
 for (ConsumerRecord<String, String> record : records) {
 process(record);
 }
 consumer.commitSync(); // 处理完一批再提交
}

3. Rebalance

触发条件：

Consumer on PlumePHP

Kafka 生产者与消费者实战：批量发送、ACK 策略与 Consumer Group

03. Kafka 消费者组与偏移量管理

1. 消费者组

2. 偏移量提交策略

3. Rebalance