本卷围绕一个问题组织 15 章:一份数据如何被高效地检索、打分与聚合。前九卷把数据当作「被计算、被存储、被流转」的对象,本卷拆开数据被消费的主干——检索:倒排索引与压缩、倒排构建与更新、Lucene 段与提交点、段合并、分片与副本、集群与元数据、查询执行、BM25 相关性排序、聚合、写入路径与 primary-backup 复制、副本一致性、扩容再平衡、可观测运维与高级检索(向量 kNN、同义词建议、生态集成),最后收口于检索系统的设计空间与自研取舍。
全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八 · 卷九 · 卷十 · 卷十一 (本卷为卷十,卷十一为图计算与图数据库内核)
三条阅读路线
路线 A:检索内核(按依赖顺序)
从检索问题一路读到查询与打分,适合想理解「搜索引擎为什么长这样」的读者。
- 第 1–2 章 检索问题域与倒排、倒排构建与更新、FST 词典。
- 第 3–4 章 Lucene 段与索引结构、段合并与删除墓碑。
- 第 7–8 章 查询执行与 BM25 相关性排序。
- 第 9 章 聚合,把倒排与列式读完的收口。
路线 B:分布式检索进阶(面向搜索引擎开发者)
把分片、副本、写入与一致性与前八卷的一致性语言对齐,再补集群与运维。
- 第 5 章 分片与副本:_id 哈希路由与故障域。
- 第 6 章 集群与元数据:节点角色、集群状态与协调路由。
- 第 10 章 写入路径与 primary-backup 复制。
- 第 11 章 副本一致性:refresh 近实时、偏好读与 recovery。
- 第 12 章 扩容与再平衡,收口分片迁移与滚动升级。
路线 C:选型与工程(面向架构)
从设计空间与高级特性切入,把内核章节当参考手册。
- 第 14 章 高级检索特性:向量 kNN、同义词建议与生态集成。
- 第 13 章 可观测与运维:慢查询、命中率账本与故障注入。
- 第 15 章 检索系统设计空间总结与自研取舍。
- 第 1、8、9 章 按需回查倒排、BM25 与聚合原理。
十一卷主线对照
| 卷 | 核心问题 | 一致性边界 | 本卷关系 |
|---|---|---|---|
| 卷一 计算模型与分布式文件系统 | 计算如何被切分与重放 | 任务级重放 | 文件块与副本的入口侧对应 |
| 卷二 批处理引擎:Spark 内核 | 血缘如何驱动重算 | 血缘重算 | 批量索引构建的批量侧 |
| 卷三 流计算与状态引擎:Flink 内核 | 状态如何被检查点化 | 状态检查点 | 近实时索引更新的流式侧 |
| 卷四 调度、数据湖与分布式训练 | 资源与目录如何被事务化 | 目录事务 / 梯度汇聚 | 数据湖全量重建的落点 |
| 卷五 执行引擎与存储格式内核 | 单机性能由什么决定 | 字节与时间账本 | 压缩、编码与列式的单机地基 |
| 卷六 分布式 SQL 执行与 MPP 内核 | 算子如何跨节点执行 | 交换字节与调度账本 | 分片并行与查询协调的对照 |
| 卷七 分布式一致性、复制与事务内核 | 多副本如何共同持有一份数据 | 日志前缀与多数派交集 | 分片副本与 primary-backup 的协议层 |
| 卷八 分布式存储与 KV 引擎内核 | 数据到底怎么被持久化与检索 | 追加日志与层间合并 | 段、页缓存与索引的存储地基 |
| 卷九 分布式消息与事件流平台内核 | 一条消息如何被可靠写入、复制与读走 | 分区有序与 ISR 高水位 | 写入路径与生态集成的上游 |
| 卷十 分布式检索与搜索引擎内核 | 一份数据如何被高效检索、打分与聚合 | 近实时可见与分片单元 | 检索侧的分片与打分地基 |
| 卷十一 图计算与图数据库内核 | 一份数据的关系如何被遍历、分析与查询 | 超步屏障与图事务边界 | 图嵌入与向量 kNN 的检索侧延伸 |
动手复现
下载实验包后按 README 运行。147 条 Java 8 断言覆盖查询门槛、教材 BM25、精确去重对照等算例。OpenSearch 2.19.7 原生探针观察 refresh、实时 GET、分片评分、DFS、主副本晋升和补齐。
十五章依赖图
flowchart TD
C1[1 检索问题域与倒排索引] --> C2[2 倒排索引的构建与更新]
C1 --> C3[3 Lucene 段与索引结构]
C2 --> C3
C3 --> C4[4 段合并]
C3 --> C5[5 分片与副本]
C4 --> C5
C5 --> C6[6 集群与元数据]
C1 --> C7[7 查询执行]
C6 --> C7
C1 --> C8[8 相关性排序]
C7 --> C8
C3 --> C9[9 聚合]
C5 --> C10[10 写入路径与复制]
C3 --> C10
C10 --> C11[11 副本一致性]
C5 --> C11
C11 --> C12[12 扩容与再平衡]
C6 --> C12
C7 --> C13[13 可观测与运维]
C10 --> C13
C5 --> C14[14 高级检索特性]
C7 --> C14
C9 --> C14
C8 --> C14
C12 --> C15[15 卷十收口]
C13 --> C15
C14 --> C15
五组问题追踪
| 问题 | 章节 | 关键结论 |
|---|---|---|
| 为什么倒排能秒查 | 1、2 | 全表扫描 O(N) 变倒排 O(df),delta/varint/bitpacking 省字节 |
| 一段不可变索引如何长出来 | 3、4 | 内存倒排刷成段,tiered 合并大段,删除写墓碑合并才回收 |
| 一份数据怎么被多机持有 | 5、6 | _id 哈希路由分片,副本异节点,协调节点按分片扇出归并 |
| 一条写入什么时候可见 | 10、11 | translog 防丢、refresh 1s 可见、wait_for_active_shards 控制 ack |
| 搜索引擎怎么打分与聚合 | 8、9 | BM25 的 k1/b/idf 账本,terms/cardinality 走 doc values 两阶段 |
逐节索引
| 节 | 标题 | 读完可以核对 |
|---|---|---|
| 1.1 | 1.1 从全表扫描到倒排索引 | 从词项到候选文档解释倒排如何缩小查找范围。 |
| 1.2 | 1.2 词频、文档频率与删除 | 按字段和统计范围解释 tf、df 与有效文档。 |
| 1.3 | 1.3 Posting 编码 | 用单调 doc ID、差分和块压缩理解空间优化。 |
| 2.1 | 2.1 内存批量构建 | 从逐文档 token 到批量有序 segment。 |
| 2.2 | 2.2 更新、删除与新段 | 区分查询可见的替换、段生命周期与大小策略。 |
| 2.3 | 2.3 词典中的 FST | 解释有序词项、状态共享和查找边界。 |
| 3.1 | 3.1 Segment 与 Commit 文件 | 说明 Lucene commit point 如何引用一致的段集合。 |
| 3.2 | 3.2 段内的存储结构 | 按查询、评分、获取和聚合解释文件职责。 |
| 3.3 | 3.3 NRT Refresh 与 Flush | 用可见性和重启恢复区分引擎操作。 |
| 4.1 | 4.1 TieredMergePolicy | 按段预算和成本理解实际候选选择。 |
| 4.2 | 4.2 合并调度与 I/O | 分开压缩重写、并发限制和前台反压。 |
| 4.3 | 4.3 删除和空间回收 | 沿 live docs、合并与引用生命周期定位删除。 |
| 5.1 | 5.1 Shard 是一个 Lucene 索引 | 说明逻辑分片及物理主副拷贝的关系。 |
| 5.2 | 5.2 ID 和自定义路由 | 明确 routing、分片号、路由配置和更新一致性。 |
| 5.3 | 5.3 副本放置与故障域 | 检查节点约束和再平衡的实际效果。 |
| 6.1 | 6.1 节点角色与发现 | 分清集群管理、数据存储和请求协调。 |
| 6.2 | 6.2 集群状态和分配 | 解释版本化路由和健康状态为何不同步。 |
| 6.3 | 6.3 协调节点与候选 | 给出 shard group、扇出、候选队列和失败处理。 |
| 7.1 | 7.1 Bool 查询与匹配门槛 | 由 must、filter、should、must_not 决定匹配与评分。 |
| 7.2 | 7.2 Query Then Fetch | 区分分片候选、全局归并及文档获取。 |
| 7.3 | 7.3 深分页与 PIT | 借稳定快照和排序游标避免页间重复或遗漏。 |
| 8.1 | 8.1 从 TF-IDF 到 BM25 | 用词频饱和、文档频率和字段长度解释相关性。 |
| 8.2 | 8.2 长度归一化和跨片统计 | 在同一命中集合中观察分片 IDF 对评分的影响。 |
| 8.3 | 8.3 多字段 Boost 与 Bool 打分 | 依据实际 Query 类型组合字段分数。 |
| 9.1 | 9.1 桶聚合及误差 | 用分片候选与全局 reduce 解释 terms 和时间分桶。 |
| 9.2 | 9.2 度量聚合与基数估计 | 区分可精确归并统计和基数近似。 |
| 9.3 | 9.3 聚合执行和 Pipeline | 明确局部聚合、全局归约、pipeline 截断顺序。 |
| 10.1 | 10.1 Translog 写入路径 | 对照请求应答、translog 持久化、Lucene commit 和查询可见。 |
| 10.2 | 10.2 Primary-Backup 复制 | 从主分片转发、in-sync 集合和恢复说明正确性。 |
| 10.3 | 10.3 等待活跃分片 | 用请求前检查区别于复制与持久化合同。 |
| 11.1 | 11.1 Refresh 可见窗口 | 将搜索可见性和写请求保证配成两条时间线。 |
| 11.2 | 11.2 读拷贝选择和 Preference | 按版本和 API 解释 _local、偏好字符串及读取稳定性。 |
| 11.3 | 11.3 Primary 晋升与 Recovery | 区分管理节点选举、分片主代次及副本追赶。 |
| 12.1 | 12.1 分片数和容量 | 分开增加节点与改变逻辑路由分片。 |
| 12.2 | 12.2 再平衡和迁移 | 追踪 allocating、文件拷贝、追赶和切换。 |
| 12.3 | 12.3 滚动升级和兼容 | 按支持的版本路径、集群健康和磁盘格式安排升级。 |
| 13.1 | 13.1 慢查询与 Profile | 分开分片执行时间、协调时延和客户端时延。 |
| 13.2 | 13.2 吞吐、等待和命中口径 | 为吞吐、延迟与命中数指定观察来源。 |
| 13.3 | 13.3 集群健康与故障演练 | 用健康色定位缺失拷贝,再检查应用合同。 |
| 14.1 | 14.1 向量 kNN 与 HNSW | 按召回目标比较分片近似检索和全局归并。 |
| 14.2 | 14.2 同义词、建议和体验 | 用 analyzer 与 query rewrite 说明召回范围如何变化。 |
| 14.3 | 14.3 事件流到检索索引 | 用确定 ID、事件版本和快照重建保护搜索索引。 |
| 15.1 | 15.1 检索引擎设计空间 | 并行评估索引结构、执行开销和可见性。 |
| 15.2 | 15.2 以一条文档串起十卷 | 从批流产出、存储发布到索引和搜索跟踪同一对象。 |
| 15.3 | 15.3 从现有搜索系统到自研 | 用最小闭环逐步验证索引、查询、恢复及扩展。 |
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。