说明 Fetch 调度、poll 与业务执行的层次。
实现机制
拉取可等最小字节数或超时,客户端缓冲与 poll 返回批量分开限制。处理耗时须符合消费组协议中的活动规则。
Kafka 偏移量是每分区位置。暂停/恢复可限制处理压力,暂停也要按协议处理持续 poll 和心跳。
拉取、长轮询与批处理的执行路径
flowchart TD
N0["Fetch 拉取分区"]
N1["poll 返回记录"]
N0 --> N1
N2["业务处理及目标提交"]
N1 --> N2
N3["记录该分区下一 offset"]
N2 --> N3
N4["重启从已提交位置恢复"]
N3 --> N4
N2 -- "业务成功但位点未提交" --> F0["重放并按业务 ID 去重"]
验证
用一次 Fetch 到两个 poll 的样本,记录 fetch、poll 和处理批的记录数。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。