《大规模分布式计算深入解析·分布式检索与搜索引擎内核》 · 目录与学习路径(45 篇)

卷十 15 章 45 节学习路径。从检索问题域与倒排索引出发,经倒排构建与更新、Lucene 段与索引结构、段合并、分片与副本、集群与元数据、查询执行、BM25 相关性排序、聚合、写入路径与复制、副本一致性、扩容再平衡、可观测运维与高级检索,到检索系统设计空间与自研取舍,含 Java 8 模型和 OpenSearch 2.19.7 原生探针。

本卷围绕一个问题组织 15 章:一份数据如何被高效地检索、打分与聚合。前九卷把数据当作「被计算、被存储、被流转」的对象,本卷拆开数据被消费的主干——检索:倒排索引与压缩、倒排构建与更新、Lucene 段与提交点、段合并、分片与副本、集群与元数据、查询执行、BM25 相关性排序、聚合、写入路径与 primary-backup 复制、副本一致性、扩容再平衡、可观测运维与高级检索(向量 kNN、同义词建议、生态集成),最后收口于检索系统的设计空间与自研取舍。

全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八 · 卷九 · 卷十 · 卷十一 (本卷为卷十,卷十一为图计算与图数据库内核)

系列导读与实验 · 下载卷十实验包

三条阅读路线

路线 A:检索内核(按依赖顺序)

从检索问题一路读到查询与打分,适合想理解「搜索引擎为什么长这样」的读者。

  1. 第 1–2 章 检索问题域与倒排、倒排构建与更新、FST 词典。
  2. 第 3–4 章 Lucene 段与索引结构、段合并与删除墓碑。
  3. 第 7–8 章 查询执行与 BM25 相关性排序。
  4. 第 9 章 聚合,把倒排与列式读完的收口。

路线 B:分布式检索进阶(面向搜索引擎开发者)

把分片、副本、写入与一致性与前八卷的一致性语言对齐,再补集群与运维。

  1. 第 5 章 分片与副本:_id 哈希路由与故障域。
  2. 第 6 章 集群与元数据:节点角色、集群状态与协调路由。
  3. 第 10 章 写入路径与 primary-backup 复制。
  4. 第 11 章 副本一致性:refresh 近实时、偏好读与 recovery。
  5. 第 12 章 扩容与再平衡,收口分片迁移与滚动升级。

路线 C:选型与工程(面向架构)

从设计空间与高级特性切入,把内核章节当参考手册。

  1. 第 14 章 高级检索特性:向量 kNN、同义词建议与生态集成。
  2. 第 13 章 可观测与运维:慢查询、命中率账本与故障注入。
  3. 第 15 章 检索系统设计空间总结与自研取舍。
  4. 第 1、8、9 章 按需回查倒排、BM25 与聚合原理。

十一卷主线对照

卷核心问题一致性边界本卷关系
卷一 计算模型与分布式文件系统计算如何被切分与重放任务级重放文件块与副本的入口侧对应
卷二 批处理引擎:Spark 内核血缘如何驱动重算血缘重算批量索引构建的批量侧
卷三 流计算与状态引擎:Flink 内核状态如何被检查点化状态检查点近实时索引更新的流式侧
卷四 调度、数据湖与分布式训练资源与目录如何被事务化目录事务 / 梯度汇聚数据湖全量重建的落点
卷五 执行引擎与存储格式内核单机性能由什么决定字节与时间账本压缩、编码与列式的单机地基
卷六 分布式 SQL 执行与 MPP 内核算子如何跨节点执行交换字节与调度账本分片并行与查询协调的对照
卷七 分布式一致性、复制与事务内核多副本如何共同持有一份数据日志前缀与多数派交集分片副本与 primary-backup 的协议层
卷八 分布式存储与 KV 引擎内核数据到底怎么被持久化与检索追加日志与层间合并段、页缓存与索引的存储地基
卷九 分布式消息与事件流平台内核一条消息如何被可靠写入、复制与读走分区有序与 ISR 高水位写入路径与生态集成的上游
卷十 分布式检索与搜索引擎内核一份数据如何被高效检索、打分与聚合近实时可见与分片单元检索侧的分片与打分地基
卷十一 图计算与图数据库内核一份数据的关系如何被遍历、分析与查询超步屏障与图事务边界图嵌入与向量 kNN 的检索侧延伸

动手复现

下载实验包后按 README 运行。147 条 Java 8 断言覆盖查询门槛、教材 BM25、精确去重对照等算例。OpenSearch 2.19.7 原生探针观察 refresh、实时 GET、分片评分、DFS、主副本晋升和补齐。

十五章依赖图

flowchart TD
  C1[1 检索问题域与倒排索引] --> C2[2 倒排索引的构建与更新]
  C1 --> C3[3 Lucene 段与索引结构]
  C2 --> C3
  C3 --> C4[4 段合并]
  C3 --> C5[5 分片与副本]
  C4 --> C5
  C5 --> C6[6 集群与元数据]
  C1 --> C7[7 查询执行]
  C6 --> C7
  C1 --> C8[8 相关性排序]
  C7 --> C8
  C3 --> C9[9 聚合]
  C5 --> C10[10 写入路径与复制]
  C3 --> C10
  C10 --> C11[11 副本一致性]
  C5 --> C11
  C11 --> C12[12 扩容与再平衡]
  C6 --> C12
  C7 --> C13[13 可观测与运维]
  C10 --> C13
  C5 --> C14[14 高级检索特性]
  C7 --> C14
  C9 --> C14
  C8 --> C14
  C12 --> C15[15 卷十收口]
  C13 --> C15
  C14 --> C15

五组问题追踪

问题章节关键结论
为什么倒排能秒查1、2全表扫描 O(N) 变倒排 O(df),delta/varint/bitpacking 省字节
一段不可变索引如何长出来3、4内存倒排刷成段,tiered 合并大段,删除写墓碑合并才回收
一份数据怎么被多机持有5、6_id 哈希路由分片,副本异节点,协调节点按分片扇出归并
一条写入什么时候可见10、11translog 防丢、refresh 1s 可见、wait_for_active_shards 控制 ack
搜索引擎怎么打分与聚合8、9BM25 的 k1/b/idf 账本,terms/cardinality 走 doc values 两阶段

逐节索引

节标题读完可以核对
1.11.1 从全表扫描到倒排索引从词项到候选文档解释倒排如何缩小查找范围。
1.21.2 词频、文档频率与删除按字段和统计范围解释 tf、df 与有效文档。
1.31.3 Posting 编码用单调 doc ID、差分和块压缩理解空间优化。
2.12.1 内存批量构建从逐文档 token 到批量有序 segment。
2.22.2 更新、删除与新段区分查询可见的替换、段生命周期与大小策略。
2.32.3 词典中的 FST解释有序词项、状态共享和查找边界。
3.13.1 Segment 与 Commit 文件说明 Lucene commit point 如何引用一致的段集合。
3.23.2 段内的存储结构按查询、评分、获取和聚合解释文件职责。
3.33.3 NRT Refresh 与 Flush用可见性和重启恢复区分引擎操作。
4.14.1 TieredMergePolicy按段预算和成本理解实际候选选择。
4.24.2 合并调度与 I/O分开压缩重写、并发限制和前台反压。
4.34.3 删除和空间回收沿 live docs、合并与引用生命周期定位删除。
5.15.1 Shard 是一个 Lucene 索引说明逻辑分片及物理主副拷贝的关系。
5.25.2 ID 和自定义路由明确 routing、分片号、路由配置和更新一致性。
5.35.3 副本放置与故障域检查节点约束和再平衡的实际效果。
6.16.1 节点角色与发现分清集群管理、数据存储和请求协调。
6.26.2 集群状态和分配解释版本化路由和健康状态为何不同步。
6.36.3 协调节点与候选给出 shard group、扇出、候选队列和失败处理。
7.17.1 Bool 查询与匹配门槛由 must、filter、should、must_not 决定匹配与评分。
7.27.2 Query Then Fetch区分分片候选、全局归并及文档获取。
7.37.3 深分页与 PIT借稳定快照和排序游标避免页间重复或遗漏。
8.18.1 从 TF-IDF 到 BM25用词频饱和、文档频率和字段长度解释相关性。
8.28.2 长度归一化和跨片统计在同一命中集合中观察分片 IDF 对评分的影响。
8.38.3 多字段 Boost 与 Bool 打分依据实际 Query 类型组合字段分数。
9.19.1 桶聚合及误差用分片候选与全局 reduce 解释 terms 和时间分桶。
9.29.2 度量聚合与基数估计区分可精确归并统计和基数近似。
9.39.3 聚合执行和 Pipeline明确局部聚合、全局归约、pipeline 截断顺序。
10.110.1 Translog 写入路径对照请求应答、translog 持久化、Lucene commit 和查询可见。
10.210.2 Primary-Backup 复制从主分片转发、in-sync 集合和恢复说明正确性。
10.310.3 等待活跃分片用请求前检查区别于复制与持久化合同。
11.111.1 Refresh 可见窗口将搜索可见性和写请求保证配成两条时间线。
11.211.2 读拷贝选择和 Preference按版本和 API 解释 _local、偏好字符串及读取稳定性。
11.311.3 Primary 晋升与 Recovery区分管理节点选举、分片主代次及副本追赶。
12.112.1 分片数和容量分开增加节点与改变逻辑路由分片。
12.212.2 再平衡和迁移追踪 allocating、文件拷贝、追赶和切换。
12.312.3 滚动升级和兼容按支持的版本路径、集群健康和磁盘格式安排升级。
13.113.1 慢查询与 Profile分开分片执行时间、协调时延和客户端时延。
13.213.2 吞吐、等待和命中口径为吞吐、延迟与命中数指定观察来源。
13.313.3 集群健康与故障演练用健康色定位缺失拷贝,再检查应用合同。
14.114.1 向量 kNN 与 HNSW按召回目标比较分片近似检索和全局归并。
14.214.2 同义词、建议和体验用 analyzer 与 query rewrite 说明召回范围如何变化。
14.314.3 事件流到检索索引用确定 ID、事件版本和快照重建保护搜索索引。
15.115.1 检索引擎设计空间并行评估索引结构、执行开销和可见性。
15.215.2 以一条文档串起十卷从批流产出、存储发布到索引和搜索跟踪同一对象。
15.315.3 从现有搜索系统到自研用最小闭环逐步验证索引、查询、恢复及扩展。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图