Kafka 生产者与消费者实战：批量发送、ACK 策略与 Consumer Group

Mon, 17 Aug 2026 10:00:00 +0800

Kafka 作为分布式流处理平台的核心组件，其生产者（Producer）与消费者（Consumer）的设计与实现直接影响着整个系统的吞吐量、可靠性和延迟表现。无论是构建实时日志采集管道，还是搭建高并发的消息中台，深入理解 Kafka 客户端的工作机制都是每一位开发者的必修课。本文将从配置参数、发送策略、消费模型到消费者组（Consumer Group）的复杂交互，逐一拆解 Kafka 客户端编程的完整知识体系，涵盖批量发送优化、ACK 策略选择、幂等性保证、事务语义实现以及位移提交策略等关键议题，并附带 Java 与 Go 的完整实战代码，帮助你从理论到实践全面掌握 Kafka 客户端编程。

02. Kafka 生产者 API 与发送语义

Fri, 14 Aug 2026 18:02:00 +0800

1. 生产者配置

Properties props = new Properties();
props.put("bootstrap.servers", "kafka1:9092,kafka2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

// 可靠性
props.put("acks", "all"); // 0/1/all
props.put("retries", Integer.MAX_VALUE); // 无限重试
props.put("enable.idempotence", true); // 幂等性（默认false）

// 性能
props.put("linger.ms", 5); // 批量等待 5ms
props.put("batch.size", 16384); // 批量大小 16KB
props.put("compression.type", "lz4"); // 压缩算法

Producer<String, String> producer = new KafkaProducer<>(props);

2. ACK 策略

acks	行为	吞吐	可靠性
0	不等待确认	最高	可能丢
1	等待 Leader 确认	中	Leader 宕机时丢
all	等待 ISR 全部确认	低	不丢

3. 发送模式

// 异步发送（推荐）
producer.send(new ProducerRecord<>("orders", orderId, json),
 (metadata, exception) -> {
 if (exception != null) exception.printStackTrace();
 });

// 同步发送
RecordMetadata metadata = producer.send(record).get();

// 带事务的发送（Exactly-Once）
producer.initTransactions();
producer.beginTransaction();
producer.send(record1);
producer.send(record2);
producer.commitTransaction();

4. 分区器

// 默认: murmur2(key) % numPartitions
// 无 key: round-robin
// 自定义:
props.put("partitioner.class", CustomPartitioner.class.getName());

public class CustomPartitioner implements Partitioner {
 public int partition(String topic, Object key, byte[] keyBytes,
 Object value, byte[] valueBytes, Cluster cluster) {
 int numPartitions = cluster.partitionCountForTopic(topic);
 // 同一用户的消息到同一分区（保证顺序）
 return Math.abs(key.hashCode()) % numPartitions;
 }
}