《大规模分布式计算深入解析》4.2 批量、linger 与压缩

按版本和工作负载量化生产者参数。

按版本和工作负载量化生产者参数。

实现机制

batch.size 是每分区缓冲目标之一,linger.ms 控制等待更多记录的时间。Kafka 4.3 默认 linger 为 5 ms,实际等待可能受背压影响。

压缩在 RecordBatch 上摊销,但让 CPU 与压缩率受数据形态影响。比较网络字节要包含协议大小。

本章流程图见 4.1 acks 与故障确认边界 。

验证

固定输入文件与生产速率,记录每批记录数、压缩后字节和端到端 P99。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图