《大规模分布式计算深入解析》3.1 IVF:聚类、倒排桶与 nprobe 路由
IVFFlat的粗中心路由与桶内扫描分开记账;N8000/nlist64/nprobe8的总算距为1064,不把固定中心分配称为完整训练。
category
IVFFlat的粗中心路由与桶内扫描分开记账;N8000/nlist64/nprobe8的总算距为1064,不把固定中心分配称为完整训练。
插入从新节点所属层向层零连接,几何剪枝保留方向多样性;底层与高层容量分开,懒删除排除结果但可保留导航。
HNSW用指数层分配和逐层导航;层零前沿C与有界结果W分开,ef不是访问或算距硬上限,结果不足K返回实际条数。
图搜索须区分前移、展开、边检查和首次算距;链上停点2是精确并列最近,另用局部陷阱解释贪婪搜索漏召回。
候选数不能推导固定召回;用相同C=4构造全命中和全漏,对单查询K=3的离散召回与多查询平均分别计算。
非零向量下cos=0与dot=0等价;平方L2、内积和余弦的排序方向、归一化及零向量定义域分别处理。
精确kNN是结果契约,不等同全量扫描;对照8次Flat算距与一维有序索引的2次精确算距,返回数、评估数和召回分别记录。
从列存与真实编码进入 parts、同步/异步确认、向量化、分片与 JOIN、预聚合、索引、复制和迁移。区分模型算术、固定版本原生结果与未测工程能力。
一个可教学骨架至少包含真实列编码/解码、不可变 part、分区内合并、谓词与聚合、状态合并及正确发布边界。先让同一输入在标量和分块路径上满足明确结果合同,再讨论分发与优化,不从一串恒等函数推断已实现引擎。
从列存与真实编码进入 parts、同步/异步确认、向量化、分片与 JOIN、预聚合、索引、复制和迁移。区分模型算术、固定版本原生结果与未测工程能力。
第一阶段实现一个小而可执行的查询闭环:解析受限模式,定位属性索引,按类型展开,保留绑定行,再显式投影/去重。第二阶段用私有写集和排他资源锁保护更新,维护索引与邻接的一致发布;每一步都有能失败的测试。
从属性图与访问路径进入 BSP、切分、算法、存储、查询、事务和因果读;最后讨论图生态、社区、知识图谱、向量检索与自研边界。固定记录格式与算法参数,不把教学计数外推为产品性能。
从属性图与访问路径进入 BSP、切分、算法、存储、查询、事务和因果读;最后讨论图生态、社区、知识图谱、向量检索与自研边界。固定记录格式与算法参数,不把教学计数外推为产品性能。
计算、存储、事件流、检索、图与 OLAP 各回答不同问题:文件/快照标识输入,执行引擎产生计算结果,共识保护元数据,复制决定确认,refresh 与插入发布定义读取可见性。不能用一条箭头把这些合同压成全局强一致。
文件切分与任务重放、批流状态、调度、单机算子、跨节点 SQL、共识存储、事件流和检索为图系统提供不同组件。跨卷关联应追踪相同事件与版本,不能仅把“都有状态”当作它们可互换的证据。
Kafka、流处理、ClickHouse 与 BI 形成端到端数据链路,每层都有自己的提交/可见点。ODS/DWD/ADS 是建模层次,不保证每个项目都必须各有一张表;去重、迟到修正和数据权限应与业务合同一起设计。
图表示决定邻接存储,计算模型决定状态可见性,分区决定所有权与通信,事务与复制决定哪些更新可确认。它们彼此约束,但不是一条 graph→bsp→store 的运行时单向流水线;批式图计算与在线图库应画成不同路径。
TPC-H 是包含 8 张表、22 个查询及相应规则的决策支持基准。Q1 含 l_shipdate 日期谓词,不能称无谓词纯聚合;Q3 的原始 shipdate 条件方向也必须与规范一致,不能为了配排序键而悄悄改查询语义。
原生图、KV 组合图、专用分布式图、多模型数据库各有存储与执行取舍。深多跳是否更快取决于入口选择性、度数、缓存、网络、结果大小和事务负载,不能用“超过一跳就选图”的规则直接决策。
向量检索按相似度召回候选,图遍历按明确关系扩展证据。混合系统可先向量后图,也可先结构过滤再向量;不同 GraphRAG 方法还有社区摘要等路径,不应把一个 pipeline 当作唯一标准。