《大规模分布式计算深入解析》14.2 Qdrant与Weaviate:存储放置、过滤与混合检索

Qdrant可分别配置向量与HNSW图的内存/磁盘放置;Weaviate用对象、倒排及向量索引服务过滤和混合检索,比较需固定版本。

产品对照先固定对象

“Rust实现”不是内存布局合同,“有对象引用”也不等于所有查询都走图遍历。比较向量引擎应分别列向量、图邻接、标量payload、倒排、日志、元数据和缓存如何持有,再讨论过滤、更新和恢复。

Qdrant不必全量常驻RAM

固定参考Qdrant1.13.0的配置结构,原始向量和HNSW图有各自的on_disk相关设置。磁盘映射、页缓存、量化码常驻与原向量重排可以组合;不能把产品概括成“Rust全内存HNSW”。payload索引参与过滤规划,过滤与图导航也不等同于搜完固定TopK再删不符结果。

本书不把滚动文档中的新memory-tier名称反向写入1.13.0接口。配置能力以该版本源码为准,本文没有部署Qdrant,故不会报告其真实RSS、IO或故障行为。

Weaviate的对象与双索引

对象schema和引用表达业务数据,属性倒排支持过滤与词项检索,向量索引服务相似度查询。混合检索需要分别召回、明确分数或排名融合方法,若使用rerank还要区分模型重排与融合排序。不能因为二者都能返回“混合结果”,就认为内部索引布局和一致性语义相同。

Weaviate这里采用作者维护的1.28版本源码作为结构入口;索引类型、schema变更与过滤算法按版本查询,不把单一HNSW例子写成所有版本唯一实现。

容量对照必须使用同一参数表

纯向量100万×128×4=512000000字节。图容量还要计底层边上限、层级、ID宽度、元数据和分配预留。用N×M×4算出64MB只是一种边预算,不是两个产品统一的实际图内存。属性倒排也不能只假设每对象一个posting,忽略词项数量、位置、压缩、字典和过滤索引。

选择产品时分别测相同质量目标下的延迟/吞吐、更新与删除可见性、过滤选择率、峰值内存和磁盘恢复,不能由实现语言替代这些证据。

架构与流程

flowchart TD
 Q["同一查询质量目标"] --> V["原向量:RAM或磁盘/缓存"]
 Q --> G["图邻接:放置与层级容量"]
 Q --> P["payload/属性倒排:过滤规划"]
 V --> C["候选检索与可选精排"]
 G --> C
 P --> C
 C --> R["单路结果或多路融合"]
 R --> E["版本、更新可见性与资源实测分别记录"]

实现与验证边界

模型只计算显式参数下的字节;本卷Milvus探针不能验证Qdrant或Weaviate。本节为固定源码/文档对照,未在这两种产品上做部署实测。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 io.IoSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路