《大规模分布式计算深入解析》2.1 追加日志、段与保留

跟踪 active 段从追加到滚动、保留和回收。

跟踪 active 段从追加到滚动、保留和回收。

实现机制

一个分区是一串有序日志段,每段有基准 offset。大小或时间达到配置条件时 roll。消费以 offset 寻址,段生命周期依清理策略执行。

delete 按保留参数删段,compact 按键清理,墓碑自身也有保留期限。1 GiB 须按配置解释,压缩后磁盘字节也不同。

追加日志、段与保留的执行路径

flowchart TD
    N0["记录批次"]
    N1["active segment 顺序追加"]
    N0 --> N1
    N2["更新稀疏 offset 与 time index"]
    N1 --> N2
    N3["按时间或大小 roll"]
    N2 --> N3
    N4["保留或按键压实"]
    N3 --> N4
    N5["回收旧段"]
    N4 --> N5
    N1 -- "数据仍在页缓存" --> F0["持久化按 broker 策略与故障模型另算"]

验证

估算 100000 条 100 B 消息的逻辑载荷,再统计实际索引和数据文件。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图