为什么小段需要合并
多个段各自建立索引会增加查询扇出、候选归并和索引固定开销。合并的目标是把选中的输入段重写成新的输出段,而不是把原有索引简单拼起来。输入A/B和输出C有不同身份,C在构建完成前不能取代A/B服务。
教学例子:8个段各1024行,按每4段一组合为2个输出段,原始行共8192。假设100个主键在本次合并的可清理时间范围内已被删除,且无其他版本需要保留,则输出共8092条有效行。删除不均匀时两段未必各4046行;总数正确不表示分布均匀。
墓碑的三个时刻
第一,逻辑删除记录通常携带主键与时间信息;第二,查询视图按其可见性条件过滤相应版本;第三,存储层在安全条件满足后物理清除数据、墓碑及旧文件。若仍有旧读者或保留语义依赖某个版本,就不能把“出现墓碑”直接等同于“旧文件可删”。
有些产品不支持长期历史快照,本节不为它们补造这种能力。但它们仍需处理进行中的查询、handoff及GC保留期。解释安全回收时,应说清具体产品保留哪些引用,何时拒绝过老读,而不是笼统承诺所有旧快照永久有效。
发布和失败清理
先读取输入、过滤可清理版本、写出C及索引;校验后发布新元数据。发布前失败,旧路由继续服务,临时产物可以按任务身份重试或清理。发布后失败,应从已提交的元数据恢复,不能再次把A/B作为新查询的唯一来源。
旧读者完成、保留期满足后才回收A/B。构图峰值可能同时持有输入文件、新文件和新索引;“合并后只剩两段”不能代表峰值存储或内存只有两段。
成本需要分项计算
读输入8192行,写有效8092行,重建索引另计。8092×M只是边槽假设,不是图构建距离次数;“随段重建必然比逐点删边便宜”也不是普遍结论,取决于删除比例、索引更新能力、并发和重建成本。
架构与流程
flowchart TD
A["输入段A:数据、索引、删除时间戳"] --> PICK["按策略选择合并输入集合"]
B["输入段B:数据、索引、删除时间戳"] --> PICK
PICK --> BUILD["构建新段C:按可清理时间边界处理版本与墓碑"]
BUILD --> INDEX["构建或重建C的索引;校验数据与文件"]
INDEX --> READY{"新段与索引就绪?"}
READY -->|"否 / 构建失败"| OLD["旧路由继续服务;清理未发布产物后重试"]
READY -->|"是"| SWITCH["元数据发布新路由版本"]
SWITCH --> NEW["新查询读取C"]
SWITCH --> PIN["旧读者继续引用A/B或固定快照"]
PIN --> SAFE{"读者、快照与保留期约束均满足?"}
SAFE -->|"否"| HOLD["保留A/B及仍有语义作用的删除信息"]
HOLD --> SAFE
SAFE -->|"是"| GC["卸载并回收旧段文件"]
实现与验证边界
模型提供输入段引用、发布后旧段保留和读者释放后的GC断言。它没有设备文件持久化和真实Milvus compaction调度;原生删除场景只验证查询侧不再返回已删主键,不能代签物理回收。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 segment.SegmentSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。