一个flush前读的反例
先建立并加载集合,再insert一批小数据,不调用flush,随后执行Strong与Session搜索。如果查询执行侧进度满足所需时间边界,Growing数据就可以返回。反例推翻的是“缓冲未满、未flush必然搜不到”,并不承诺任何部署、任何时刻的请求都零等待。
四条确认线
| 边界 | 负责组件与状态 | 不能直接推出 |
|---|---|---|
| 写入确认 | Proxy与日志后端的请求结果 | 所有QueryNode已消费;段索引已建成 |
| 查询进度 | QueryNode的ServiceTime | 任意未来写入均可见 |
| 查询屏障 | 本次GuaranteeTs及一致性级别 | 数据必须先显式flush |
| 持久段形成 | DataNode/存储中的段文件与元数据 | 所有历史快照都可读到该数据 |
在2.5的时间屏障抽象中,执行侧需要服务本次请求指定的时间下界。进度不满足时等待,超时返回失败;不能返回一个看似成功但默默遗漏所需新数据的“强一致结果”。日志确认的耐久性需要再核所选后端的契约,不能仅因存在WAL就声称任意断电零丢失。
Strong与Session不是同一个时间戳来源
Strong请求选择当前强读所需时间边界;Session以客户端已完成写入的相关时间信息约束自己的后续读。Bounded允许有界时间滞后,Eventually减少这类等待要求。不同级别在静态数据上返回同一TopK很正常,不能由此推导它们在并发写和消费积压下语义相同。
复现实验如何设计
加载空集合并建立索引后插入1200条32维向量。记录insert结果、查询前的显式flush调用数和QueryNode段状态;执行Strong/Session搜索及标量查询,核对指定新主键。之后再显式flush,核对持久化统计及相同数据集的查询。
不能先flush再搜索,最后把两次一致结果解释成“已验证flush前可见”。也不能只比较num_entities与插入计数:统计、活跃行、删除版本与查询快照不是一个口径。
架构与流程
sequenceDiagram
participant C as 写入与查询客户端
participant P as Proxy / 时间戳路由
participant L as 日志通道
participant Q as QueryNode
participant D as DataNode / 持久存储
C->>P: insert(rows)
P->>L: 按版本协议追加带时间戳写入
L-->>P: 接收确认
P-->>C: 写入确认及相关时间信息
par 增量消费
L->>Q: 写入与同步进度
Q->>Q: 更新Growing数据与ServiceTime
and 持久化消费
L->>D: 消费段数据
end
C->>P: Strong或Session search
P->>Q: 查询及GuaranteeTs
alt ServiceTime不足
Q->>Q: 等待同步进度;超时则失败
else 进度已满足
Q->>Q: 可立即开始检索
end
alt 屏障等待超时
Q-->>P: 超时错误
P-->>C: 查询失败,不返回伪成功结果
else 屏障已满足
Q->>Q: 搜索Growing及查询所需已加载段
Q-->>P: 结果
P-->>C: 归并后的TopK
end
Note over C,D: 可检索与段flush不是同一个确认点
C->>P: 显式flush或后台策略封存
P->>D: 触发并等待所选持久化阶段
D-->>P: 该阶段完成
实现与验证边界
教学Visibility模型将serviceTime与flushed分开;原生milvus_probe.py的visibility场景对自身随机命名集合执行preflush Strong/Session读,结果逐项断言,失败非零。自动后台行为以同时记录的段状态为准,不从“未调用flush”推断物理磁盘从未发生写入。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 segment.VisibilitySuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。