《大规模分布式计算深入解析》9.2 快照与读取隔离:时间戳、searchable/loaded 状态

查询快照的数据时间边界与服务进度屏障分开;Strong覆盖所需已完成写入,不承诺读取快照之后所有未来数据。

数据时间边界和执行进度是两件事

一个时间戳查询模型可以定义读视图上界T:只包含对T可见的版本。与此同时,查询节点必须至少消费到所需进度G才能完整服务请求。T限制哪些版本有资格进入视图,G限制何时具备执行条件;二者不能仅用“段已经Flushed”替代。

Milvus 2.5文档的GuaranteeTs/ServiceTime用来解释一致性等待。它不是授予应用任意历史版本、无限保留或完整数据库MVCC的接口。本节的时间戳快照例子是机制模型,实际支持的时间旅行接口与保留窗口必须按固定版本另查。

一个具体时间线

写入x的时间100,查询希望覆盖到100;执行侧目前ServiceTime=97,则应等待进度,而不是因段已经落盘便直接返回。进度到100后可以执行。之后出现时间101的新写入,不属于“查询必须包含的所有未来写入”。若应用固定读视图T=100,则不能自动把101计入该历史视图。

删除也是带时间边界的操作:x在100插入、105删除,在教学历史视图T=102仍存在,T=106才不存在。若产品只承诺当前读,不能把模型历史读能力写成产品实测。

Growing、Sealed、Flushed、Loaded各有维度

Growing描述接收增量的段;Sealed描述不再接受新行;Flushed描述段文件持久化阶段;Loaded描述查询服务载入了所需表示。它们不是决定所有一致性级别的单一布尔值。Growing也能在查询进度到位后被检索。

以512MiB阈值、每行纯向量512B估计,可容纳1048576条;这是忽略标量、主键、结构开销的有效载荷账本。512MB按十进制则是1000000条,不能混用。真实封存策略不保证每256批就按同样时刻切换。

超时、回收和过老读取

进度追不上时可超时失败;数据过老不再被保留时应按接口拒绝或返回明确契约,不能声称Flushed等于永远可恢复。段合并还需考虑进行中读者与文件保留,详见10.3。

架构与流程

flowchart TD
 REQ["查询:数据视图T,所需进度G"] --> S{"serviceTime达到G?"}
 S -->|否| WAIT["等待;超时失败"]
 S -->|是| V["在支持的读视图中选择版本"]
 V --> D{"版本对T可见且未被T之前删除?"}
 D -->|是| OUT["参与过滤与TopK"]
 D -->|否| SKIP["排除该版本"]
 F["flush/索引加载:独立状态"] -.-> V

实现与验证边界

模型验证时间上界、服务屏障和flush独立;Milvus原生只实测当前Strong/Session读,不测试任意历史快照、跨地域滞后、重启或设备故障。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 segment.VisibilitySuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路