《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路

Milvus 2.5区分Proxy查询数据面、QueryCoord控制面、DataNode持久化和IndexNode建索引;Growing与历史段共同服务查询。

从一条查询看角色

客户端search进入Proxy。Proxy校验schema与参数、按集合和分片路由到查询服务,QueryNode执行本地段检索并返回候选,Proxy归并结果。QueryCoord负责段加载、分布、负载与handoff等控制,不应画成每条查询都经过的算距流水线。DataNode的主要数据处理职责是消费写入和持久化,不能拿它替代QueryNode。

三种持有状态的位置

对象主要责任需要恢复的状态
Proxy/路由元数据接入、校验、路由与结果归并集合schema与可服务位置
QueryNodeGrowing消费与已加载历史段检索消费进度、所需段表示
DataNode/存储日志消费与段文件形成文件、日志位置和持久元数据
IndexNode对选定段构建索引并写回存储构建任务身份与产物
QueryCoord/DataCoord加载/段与相关任务控制任务及段的控制元数据

这些是2.5职责划分;具体部署可合并进程,不能按进程数量反推逻辑职责消失。etcd元数据、日志通道和对象存储也不能合成“一个存储层”而不解释故障域。

写入和查询相交在时间屏障

写入经日志分发,QueryNode消费增量。一次查询携带所需时间边界,等待ServiceTime满足后检索Growing与历史段。flush、段索引和handoff改变表示与持久化状态,而非把所有读可见性统一锁在flush之后。

跨段候选要用一致的度量和结果规则归并。查询超时、部分节点失败、重试期间的快照和路由变化需有明确契约,不能默认用返回部分数据的成功响应替代完整TopK。

standalone实验的解释限度

单容器内部仍有这些逻辑任务,但不等于已测试多节点扩缩容、元数据多数派或故障切换。本卷固定Milvus2.5.4;探针保存自身创建集合的行为和断言。具体哪些场景本轮运行过,以README及observed验收记录为准,不沿用旧版“ef两次相同便是召回1”的推断。

架构与流程

flowchart TB
    CLIENT["SDK:insert / search"] --> PROXY["Proxy:校验、路由、结果归并"]
    PROXY -->|"DML + 时间戳"| LOG["日志通道:写入接收与重放"]
    LOG --> DN["DataNode:消费、段数据持久化"]
    LOG --> QN["QueryNode:消费增量、推进 ServiceTime"]
    PROXY -->|"查询 + GuaranteeTs"| QN
    QN --> BARRIER{"本地进度满足查询屏障?"}
    BARRIER -->|"否"| WAIT["等待进度;超时按契约失败"]
    WAIT --> BARRIER
    BARRIER -->|"是"| SEARCH["Growing / 已加载 Sealed 检索"]
    SEARCH -->|"局部候选与分数"| PROXY
    DN --> OBJ["对象存储:段数据与索引文件"]
    OBJ --> INDEX["IndexNode:构建段索引"]
    INDEX --> OBJ
    OBJ -->|"加载持久段与索引"| QN
    QC["QueryCoord:加载、分布与 handoff 控制"] -.-> QN
    DC["DataCoord:段与持久化任务控制"] -.-> DN
    META["元数据服务:集合、schema、任务信息"] -.-> QC
    META -.-> DC

实现与验证边界

Java只验证相关模型合同。milvus_probe.py用于单机真实API检查;不把组件分工图或standalone成功扩大成分布式多副本验收。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 segment.VisibilitySuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》15.2 十三卷主线:检索、存储、执行与一致性如何衔接