合并产物有新的身份
Growing→Sealed→Flushed可以描述同一个段的一部分生命周期;Compaction则消费一个输入段集合,产生新的输出段集合。不能画成某个原段依次变成“Compacted产物”,否则会隐藏旧读者到底引用哪组文件。
后台策略可依据段大小、删除比例、索引成本与资源预算挑选输入。策略不保证任何10个512MiB段都被合成一个5GiB大段;产品还可能受目标段大小限制产生多个输出。
构建、发布、回收三阶段
构建期读取选定输入,保留仍需服务的版本,生成输出与索引。发布期用元数据变更让新查询采用新集合;未就绪输出不能抢先进入路由。回收期等旧引用、保留期或产品规定的安全点满足后再删除输入。
构建失败可保留旧路由并重试;发布确认丢失时必须先查任务/元数据状态,不能盲目再发布一份重复产物;发布后重启按已提交元数据恢复。新旧文件短时并存是协议需要,不等于泄漏。
带删除的IO例子
10个512MiB输入,总计5120MiB=5GiB。若其中10%的有效载荷确定可以删除,忽略格式和索引开销,则读5GiB、写4.5GiB,总搬运9.5GiB。另有原索引读取、新索引写入、校验和临时文件开销,不能一律写为10GiB。
墓碑是否可删取决于其覆盖的版本范围与保留语义,不只是“本次合并看见墓碑”。过早删掉删除记录而留下旧值,可能让后续重放或合并把已删数据复活。
峰值预算与观测
容量需同时计入仍被服务引用的输入、构建输出、索引和失败临时产物。监控至少包括合并排队时间、读写字节、构图耗时、被引用旧段数和GC积压。段数下降只能说明一个结果,不足以证明磁盘或查询性能改善。
架构与流程
flowchart TD
A["输入段A:数据、索引、删除时间戳"] --> PICK["按策略选择合并输入集合"]
B["输入段B:数据、索引、删除时间戳"] --> PICK
PICK --> BUILD["构建新段C:按可清理时间边界处理版本与墓碑"]
BUILD --> INDEX["构建或重建C的索引;校验数据与文件"]
INDEX --> READY{"新段与索引就绪?"}
READY -->|"否 / 构建失败"| OLD["旧路由继续服务;清理未发布产物后重试"]
READY -->|"是"| SWITCH["元数据发布新路由版本"]
SWITCH --> NEW["新查询读取C"]
SWITCH --> PIN["旧读者继续引用A/B或固定快照"]
PIN --> SAFE{"读者、快照与保留期约束均满足?"}
SAFE -->|"否"| HOLD["保留A/B及仍有语义作用的删除信息"]
HOLD --> SAFE
SAFE -->|"是"| GC["卸载并回收旧段文件"]
实现与验证边界
段引用模型验证publish之前不切路由、旧读者引用延迟GC、释放后回收。没有模拟真实磁盘损坏、进程崩溃恢复或Milvus调度策略;原生探针不把逻辑delete算成物理compaction已测。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 segment.SegmentSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。