从一条查询看角色
客户端search进入Proxy。Proxy校验schema与参数、按集合和分片路由到查询服务,QueryNode执行本地段检索并返回候选,Proxy归并结果。QueryCoord负责段加载、分布、负载与handoff等控制,不应画成每条查询都经过的算距流水线。DataNode的主要数据处理职责是消费写入和持久化,不能拿它替代QueryNode。
三种持有状态的位置
| 对象 | 主要责任 | 需要恢复的状态 |
|---|---|---|
| Proxy/路由元数据 | 接入、校验、路由与结果归并 | 集合schema与可服务位置 |
| QueryNode | Growing消费与已加载历史段检索 | 消费进度、所需段表示 |
| DataNode/存储 | 日志消费与段文件形成 | 文件、日志位置和持久元数据 |
| IndexNode | 对选定段构建索引并写回存储 | 构建任务身份与产物 |
| QueryCoord/DataCoord | 加载/段与相关任务控制 | 任务及段的控制元数据 |
这些是2.5职责划分;具体部署可合并进程,不能按进程数量反推逻辑职责消失。etcd元数据、日志通道和对象存储也不能合成“一个存储层”而不解释故障域。
写入和查询相交在时间屏障
写入经日志分发,QueryNode消费增量。一次查询携带所需时间边界,等待ServiceTime满足后检索Growing与历史段。flush、段索引和handoff改变表示与持久化状态,而非把所有读可见性统一锁在flush之后。
跨段候选要用一致的度量和结果规则归并。查询超时、部分节点失败、重试期间的快照和路由变化需有明确契约,不能默认用返回部分数据的成功响应替代完整TopK。
standalone实验的解释限度
单容器内部仍有这些逻辑任务,但不等于已测试多节点扩缩容、元数据多数派或故障切换。本卷固定Milvus2.5.4;探针保存自身创建集合的行为和断言。具体哪些场景本轮运行过,以README及observed验收记录为准,不沿用旧版“ef两次相同便是召回1”的推断。
架构与流程
flowchart TB
CLIENT["SDK:insert / search"] --> PROXY["Proxy:校验、路由、结果归并"]
PROXY -->|"DML + 时间戳"| LOG["日志通道:写入接收与重放"]
LOG --> DN["DataNode:消费、段数据持久化"]
LOG --> QN["QueryNode:消费增量、推进 ServiceTime"]
PROXY -->|"查询 + GuaranteeTs"| QN
QN --> BARRIER{"本地进度满足查询屏障?"}
BARRIER -->|"否"| WAIT["等待进度;超时按契约失败"]
WAIT --> BARRIER
BARRIER -->|"是"| SEARCH["Growing / 已加载 Sealed 检索"]
SEARCH -->|"局部候选与分数"| PROXY
DN --> OBJ["对象存储:段数据与索引文件"]
OBJ --> INDEX["IndexNode:构建段索引"]
INDEX --> OBJ
OBJ -->|"加载持久段与索引"| QN
QC["QueryCoord:加载、分布与 handoff 控制"] -.-> QN
DC["DataCoord:段与持久化任务控制"] -.-> DN
META["元数据服务:集合、schema、任务信息"] -.-> QC
META -.-> DC
实现与验证边界
Java只验证相关模型合同。milvus_probe.py用于单机真实API检查;不把组件分工图或standalone成功扩大成分布式多副本验收。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 segment.VisibilitySuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。