《大规模分布式计算深入解析》5.3 段合并与删除:墓碑、合并策略与图重建

段合并产生新段而非原段变身;删除的查询过滤、物理回收与旧读者引用分开,重建边槽预算不等于算距成本。

为什么小段需要合并

多个段各自建立索引会增加查询扇出、候选归并和索引固定开销。合并的目标是把选中的输入段重写成新的输出段,而不是把原有索引简单拼起来。输入A/B和输出C有不同身份,C在构建完成前不能取代A/B服务。

教学例子:8个段各1024行,按每4段一组合为2个输出段,原始行共8192。假设100个主键在本次合并的可清理时间范围内已被删除,且无其他版本需要保留,则输出共8092条有效行。删除不均匀时两段未必各4046行;总数正确不表示分布均匀。

墓碑的三个时刻

第一,逻辑删除记录通常携带主键与时间信息;第二,查询视图按其可见性条件过滤相应版本;第三,存储层在安全条件满足后物理清除数据、墓碑及旧文件。若仍有旧读者或保留语义依赖某个版本,就不能把“出现墓碑”直接等同于“旧文件可删”。

有些产品不支持长期历史快照,本节不为它们补造这种能力。但它们仍需处理进行中的查询、handoff及GC保留期。解释安全回收时,应说清具体产品保留哪些引用,何时拒绝过老读,而不是笼统承诺所有旧快照永久有效。

发布和失败清理

先读取输入、过滤可清理版本、写出C及索引;校验后发布新元数据。发布前失败,旧路由继续服务,临时产物可以按任务身份重试或清理。发布后失败,应从已提交的元数据恢复,不能再次把A/B作为新查询的唯一来源。

旧读者完成、保留期满足后才回收A/B。构图峰值可能同时持有输入文件、新文件和新索引;“合并后只剩两段”不能代表峰值存储或内存只有两段。

成本需要分项计算

读输入8192行,写有效8092行,重建索引另计。8092×M只是边槽假设,不是图构建距离次数;“随段重建必然比逐点删边便宜”也不是普遍结论,取决于删除比例、索引更新能力、并发和重建成本。

架构与流程

flowchart TD
    A["输入段A:数据、索引、删除时间戳"] --> PICK["按策略选择合并输入集合"]
    B["输入段B:数据、索引、删除时间戳"] --> PICK
    PICK --> BUILD["构建新段C:按可清理时间边界处理版本与墓碑"]
    BUILD --> INDEX["构建或重建C的索引;校验数据与文件"]
    INDEX --> READY{"新段与索引就绪?"}
    READY -->|"否 / 构建失败"| OLD["旧路由继续服务;清理未发布产物后重试"]
    READY -->|"是"| SWITCH["元数据发布新路由版本"]
    SWITCH --> NEW["新查询读取C"]
    SWITCH --> PIN["旧读者继续引用A/B或固定快照"]
    PIN --> SAFE{"读者、快照与保留期约束均满足?"}
    SAFE -->|"否"| HOLD["保留A/B及仍有语义作用的删除信息"]
    HOLD --> SAFE
    SAFE -->|"是"| GC["卸载并回收旧段文件"]

实现与验证边界

模型提供输入段引用、发布后旧段保留和读者释放后的GC断言。它没有设备文件持久化和真实Milvus compaction调度;原生删除场景只验证查询侧不再返回已删主键,不能代签物理回收。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 segment.SegmentSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路