《大规模分布式计算深入解析》11.3 别名与索引管理:alias 切换、reindex 与版本

alias原子更新只改变后续解析,不能代替增量追平、在途请求处理或无损回滚;模型验证停写屏障和真实行版本。

指针切换解决什么

别名为应用提供稳定名字,指向某个集合。建立新集合、加载并验证后改变别名,可以减少应用改配置的工作;但alias原子更新不意味着所有在途查询瞬间转向新集合,也不意味着两个集合的数据已同步。

重建窗口中的新增写

从旧集合在边界S导出,新集合构建期间旧集合继续接收写入。必须选一种明确方案:停写后补齐、持续日志捕获重放,或有幂等/错误处理的双写。只等新索引“ready”便切换,会漏掉S之后的更新/删除。

本图给出一般迁移责任,不声称Milvus alias API自带CDC或分布式事务。

本卷有限停写协议

模型持有变更日志、每个版本的主键/值/版本映射和applied位置。createVersion从给定快照边界构造数据;replay把实际后续事件应用到目标;pause建立写屏障。只有ready且目标applied=tail,switchTo才允许发布。

切换后恢复写入。若新版本再写主键7/值700,旧版本没有这行,回滚被拒绝;补齐实际日志后才可切回,验证值和版本仍一致。它不是只比较几个布尔标记,也不是QPS×切换秒数。

回滚不是免费无损

保留两份集合只是保留选择。若没有反向增量或双写,旧集合可能缺少切换后的写入;把别名切回会造成用户视角的数据倒退。必须明确回滚的数据合同、不可逆变更和保留窗口。

故障与请求边界

构建失败保留旧服务;切换确认丢失先查询元数据状态再决定;在途旧请求按约定排空。写屏障解除和客户端缓存刷新也需要顺序,不能仅因DDL返回成功便宣称全局所有请求已使用新版本。

架构与流程

sequenceDiagram
    participant A as 应用
    participant O as 旧集合V1
    participant C as 迁移协调者
    participant N as 新集合V2
    participant M as alias与路由元数据
    A->>O: 持续读写
    C->>O: 固定导出边界S,开始可重放增量捕获
    O-->>C: S对应数据及增量位置
    C->>N: 导入S并构建索引
    C->>N: 重放S之后增量,保留幂等ID与版本
    C->>C: 确认增量追平、schema兼容与查询对照
    alt 构建或追平失败
      C->>C: 保留V1服务,取消或重试V2
    else 准备切换
      C->>A: 按方案建立写入屏障或双写契约
      C->>M: 发布alias到V2
      M-->>A: 新路由用于之后解析的请求
      Note over A,O: 在途V1请求<br/>按约定排空或处理版本
      A->>N: 切换后写入与查询
      alt 要求可回滚
        C->>O: 维持反向增量或双写,校验无缺口
        C->>M: 满足数据契约后才能切回V1
      else 不保持旧集合增量
        C->>C: 明确切回会缺少新写;不能承诺无损回滚
      end
    end

实现与验证边界

模型真实保存和重放行事件,验证未就绪/未追平/未停写拒绝及回滚不丢新行。未实现真实CDC、alias DDL并发压力或跨节点原子切换。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 meta.MetaSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路