卷八共 45 节,沿「数据到底怎么被持久化与检索」阅读。前七卷回答计算如何被切分、重放、一致地执行,本卷下钻存储地基:介质与 IO 账本、LSM-Tree 与布隆、Compaction 放大三角、WAL 与崩溃恢复,再到分布式 KV 的分片、事务、副本、二级索引、缓存、对象存储与内存 KV,最后收口于引擎选型与自研取舍。
系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核 · 卷七 分布式一致性、复制与事务内核 · 卷八 分布式存储与 KV 引擎内核(本卷) · 卷九 分布式消息与事件流平台内核
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《大规模分布式计算深入解析·分布式存储与 KV 引擎内核》 |
| 篇数 | 45 篇(15 章 × 3 节) |
| 领域 | 存储介质与 IO × LSM-Tree 与布隆 × Compaction 与 WAL × 分布式 KV 架构与事务 × 索引缓存与对象存储 × 引擎选型 |
| 实验工程 | 下载卷八实验包 ,Java 8 教学模型共 120 条断言,附原生 sqlite3 探针和观测记录 |
| 上级专题 | 书稿专题 |
全书目录
前置
| 节 | 文章 |
|---|---|
| — | 目录与学习路径 |
第 1 章 存储介质与 IO 模型
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 介质延迟与吞吐账本 |
| 1.2 | 1.2 页缓存、顺序写和同步 |
| 1.3 | 1.3 块、段与页 |
第 2 章 LSM-Tree 结构
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 MemTable、SST 与层级 |
| 2.2 | 2.2 WAL 到 L0 的顺序 |
| 2.3 | 2.3 LSM 点查与扫描 |
第 3 章 布隆过滤器与索引
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 Bloom 假阳性 |
| 3.2 | 3.2 稀疏索引与块定位 |
| 3.3 | 3.3 负查、假阳性与缓存 |
第 4 章 Compaction 策略
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 Level 与 Tiered 压实 |
| 4.2 | 4.2 读、写与空间放大 |
| 4.3 | 4.3 压实调度与停写 |
第 5 章 WAL 与崩溃恢复
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 WAL 同步与组提交 |
| 5.2 | 5.2 异常退出后的日志重放 |
| 5.3 | 5.3 日志回收与归档 |
第 6 章 分布式 KV 架构
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 Range 和 Hash 分片 |
| 6.2 | 6.2 路由缓存与迁移 |
| 6.3 | 6.3 副本组与一致性组 |
第 7 章 分布式 KV 的事务
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 单分片事务的本地路径 |
| 7.2 | 7.2 跨分片 2PC |
| 7.3 | 7.3 MVCC 隔离与读己之写 |
第 8 章 分布式 KV 的副本与选主
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 quorum、确认和 RPO |
| 8.2 | 8.2 选主与租约 |
| 8.3 | 8.3 脑裂、外部写和 fencing |
第 9 章 二级索引与物化
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 本地与全局索引 |
| 9.2 | 9.2 索引和主数据原子变更 |
| 9.3 | 9.3 物化视图回填 |
第 10 章 缓存体系
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 块缓存、行缓存与 MemTable |
| 10.2 | 10.2 Redis Cluster 槽与重定向 |
| 10.3 | 10.3 失效、陈旧值与击穿 |
第 11 章 对象存储
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 S3 对象级契约 |
| 11.2 | 11.2 对象存储上的 KV 引擎 |
| 11.3 | 11.3 湖仓存算分离 |
第 12 章 内存 KV 与热数据
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 内存 KV 的结构成本 |
| 12.2 | 12.2 AOF、RDB 与复制 |
| 12.3 | 12.3 内存与磁盘 KV 选型 |
第 13 章 时序与日志存储
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 时序数据的布局 |
| 13.2 | 13.2 批量提交与压缩 |
| 13.3 | 13.3 日志、消息和段归档 |
第 14 章 存储引擎对比与选型
| 节 | 文章 |
|---|---|
| 14.1 | 14.1 RocksDB、LevelDB、Badger 与 WiredTiger |
| 14.2 | 14.2 TiKV 与 CockroachDB 的存储侧 |
| 14.3 | 14.3 宽表、文档与图模型 |
第 15 章 卷八收口
| 节 | 文章 |
|---|---|
| 15.1 | 15.1 存储引擎的设计空间 |
| 15.2 | 15.2 存储接入系列主线 |
| 15.3 | 15.3 从引擎到 KV 服务 |