从独立函数到有限组合
十一类机制分别实现后,还需要检查对象身份在模块边界不丢失。配套IntegrationSuite:导入12条二维向量,按哈希路由到两份小图;删除一个真实局部ID;用全局ID条件过滤;各片返回带分数候选,归并后与全库Flat过滤真值对照,再执行分页。
另一条组合把PQ实际编码/ADC分数送入粗排,只有保留下来的候选进入精确重排,验证没有用fine全库排序绕开粗排。段分组还核对导入行数守恒。
这个夹具跨模块传递实际ID、分数与数据,但仍是有限内存程序,不能把它称为可持久化服务。runner汇总通过只对应已有断言,不能证明所有算法、协议和故障条件。
当前代码真实覆盖
HNSW有指数采层、多层插入、双队列、几何剪枝和懒删除;IVFFlat有有限训练与预赋桶;PQ有编码/解码/ADC,SQ有舍入;DiskANN章节提供几何RobustPrune、小树+图及文件映射。查询有真实线程池、候选精排、逐文档RRF、分页和带分数多路归并;还有固定token环、真实对象LRU、进度/读屏障/段引用及put事件迁移模型。
OPQ学习、完整SPTAG/Vamana构建、SSD异步搜索和生产持久化并未实现。每项模块能力以README和对应Suite为准,不由类名推断。
距离可运行服务还差什么
需要持久索引/元数据格式与兼容升级,WAL/恢复和损坏检测,事务与并发更新/快照,分片网络协议与复制/路由epoch,增量索引和删除/回收,任务调度/资源隔离,权限/配额/监控,构建与部署及故障演练。真实embedding和BM25管线也不能由人工小向量替代。
先按合同增加一个完整纵向场景,再扩算法种类。若无法说明一次确认、一次读取和一次故障恢复的边界,多加几种索引名字不会自动提升工程可用性。
原生与模型的交叉检查
固定hnswlib核心验证层容量、ef/K、几何剪枝与删除桥;Milvus2.5.4隔离API验证具体读/查询/分区/融合行为。它们为正文提供事实锚点,却不代表Java模型是原产品移植,也不代表单机API通过就有集群安全性。
架构与流程
flowchart TD
ROW["12条向量与全局ID"] --> ROUTE["确定性分片;映射局部ID"]
ROUTE --> GRAPH["两份真实小图插入"]
GRAPH --> DELETE["局部ID删除与全局条件过滤"]
DELETE --> CAND["每片带分数候选"]
CAND --> MERGE["跨片去重归并与分页"]
MERGE --> GT["独立Flat过滤真值对照"]
PQ["实际PQ码与ADC"] --> COARSE["候选ID截断"]
COARSE --> FINE["只对候选精确重排"]
FINE --> CHECK["验证未越过候选资格"]
实现与验证边界
入口编译实际11类模型及跨模块夹具;总断言数在最终README中记录,失败返回非零。没有商业服务、跨节点容错、完整索引恢复或线上性能承诺。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 lab.RunAll / lab.IntegrationSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。