《大规模分布式计算深入解析》10.3 段管理与压缩:segment 生命周期与 compaction

合并是输入段到新输出段的DAG;发布、读者排空、保留期和GC分别验收,IO按输入与有效输出字节计算。

合并产物有新的身份

Growing→Sealed→Flushed可以描述同一个段的一部分生命周期;Compaction则消费一个输入段集合,产生新的输出段集合。不能画成某个原段依次变成“Compacted产物”,否则会隐藏旧读者到底引用哪组文件。

后台策略可依据段大小、删除比例、索引成本与资源预算挑选输入。策略不保证任何10个512MiB段都被合成一个5GiB大段;产品还可能受目标段大小限制产生多个输出。

构建、发布、回收三阶段

构建期读取选定输入,保留仍需服务的版本,生成输出与索引。发布期用元数据变更让新查询采用新集合;未就绪输出不能抢先进入路由。回收期等旧引用、保留期或产品规定的安全点满足后再删除输入。

构建失败可保留旧路由并重试;发布确认丢失时必须先查任务/元数据状态,不能盲目再发布一份重复产物;发布后重启按已提交元数据恢复。新旧文件短时并存是协议需要,不等于泄漏。

带删除的IO例子

10个512MiB输入,总计5120MiB=5GiB。若其中10%的有效载荷确定可以删除,忽略格式和索引开销,则读5GiB、写4.5GiB,总搬运9.5GiB。另有原索引读取、新索引写入、校验和临时文件开销,不能一律写为10GiB。

墓碑是否可删取决于其覆盖的版本范围与保留语义,不只是“本次合并看见墓碑”。过早删掉删除记录而留下旧值,可能让后续重放或合并把已删数据复活。

峰值预算与观测

容量需同时计入仍被服务引用的输入、构建输出、索引和失败临时产物。监控至少包括合并排队时间、读写字节、构图耗时、被引用旧段数和GC积压。段数下降只能说明一个结果,不足以证明磁盘或查询性能改善。

架构与流程

flowchart TD
    A["输入段A:数据、索引、删除时间戳"] --> PICK["按策略选择合并输入集合"]
    B["输入段B:数据、索引、删除时间戳"] --> PICK
    PICK --> BUILD["构建新段C:按可清理时间边界处理版本与墓碑"]
    BUILD --> INDEX["构建或重建C的索引;校验数据与文件"]
    INDEX --> READY{"新段与索引就绪?"}
    READY -->|"否 / 构建失败"| OLD["旧路由继续服务;清理未发布产物后重试"]
    READY -->|"是"| SWITCH["元数据发布新路由版本"]
    SWITCH --> NEW["新查询读取C"]
    SWITCH --> PIN["旧读者继续引用A/B或固定快照"]
    PIN --> SAFE{"读者、快照与保留期约束均满足?"}
    SAFE -->|"否"| HOLD["保留A/B及仍有语义作用的删除信息"]
    HOLD --> SAFE
    SAFE -->|"是"| GC["卸载并回收旧段文件"]

实现与验证边界

段引用模型验证publish之前不切路由、旧读者引用延迟GC、释放后回收。没有模拟真实磁盘损坏、进程崩溃恢复或Milvus调度策略;原生探针不把逻辑delete算成物理compaction已测。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 segment.SegmentSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路