三个不能混用的维度
集合定义schema和命名空间;分区是集合内的数据管理/检索范围;Milvus分片对应写入vchannel等逻辑分布,查询节点的当前放置又是另一层。单机部署不意味着schema只能有一个逻辑分片,也不意味着分区号就是节点号。
手工分区与自动key分区
手工方式创建part_a并明确向它插入;自动方式在schema指定标量字段is_partition_key,系统按该键映射到相应分区。后者不是“创建一个叫part_a的分区,再传一遍所有数据”。
旧探针把相同1200个主键向新手工分区重复insert,既不证明partition key路由,也没有唯一性或upsert验收。新实验为两种方式建不同的随机集合、使用互不重复主键,并按实际API验证限定查询。
过滤不一定扫描全部段
针对partition key的过滤可用于裁剪搜索分区;普通标量条件也可能使用倒排/位图或其他索引。因而“删除分区可少扫,过滤一定仍扫全部段”不成立。
删除分区是管理操作,改变数据及索引服务范围;查询过滤只限定本次结果。它们的权限、成本、可恢复性与一致性不同,不能只根据返回行数相同便互换。
教学路由与容量
Java按给定分区数做确定性hash路由,只验证同key稳定与范围,不宣称复刻Milvus哈希函数。自动分区的倾斜、手工分区热区、索引大小和加载策略需要额外统计。
验收要检查schema确实启用partition key、查询条件匹配及主键不重复;手工分区测试要明确partition_names。列出_default/part_a名称只证明DDL可见,不证明数据按key路由或跨节点重平衡。
架构与流程
flowchart TD
C["集合schema"] --> MAN["手工分区:显式part_a插入"]
C --> KEY["自动分区:is_partition_key字段"]
KEY --> HASH["按键选择分区"]
MAN --> QUERY["按分区范围或合法过滤查询"]
HASH --> QUERY
QUERY --> PRUNE["可能裁剪分区/段;不是必扫全部"]
SHARD["vchannel分片与节点放置"] -.-> SEP["独立于分区命名"]
实现与验证边界
模型只验证显式哈希和字段合同;原生手工分区与自动key分区在独立集合测试。没有测多节点迁移、真实分区裁剪IO或路由热度。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 meta.MetaSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。