卷六共 45 节,沿一条查询的执行链路阅读。卷五解释单机算子,卷六补充物理分布、跨节点交换、任务重试,以及带快照和权限的查询交付。
本页是《大规模分布式计算深入解析·分布式 SQL 执行与 MPP 内核》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。
系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核(本卷)
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《大规模分布式计算深入解析·分布式 SQL 执行与 MPP 内核》 |
| 篇数 | 45 篇(15 章 × 3 节) |
| 领域 | 分布式查询执行 × MPP × 数据分布与交换 × 查询服务化 |
| 实验工程 | 下载卷六实验包 ,含 Java 8 模型、SQLite 语义反例和 Trino 484 探针 |
| 上级专题 | 书稿专题 |
全书目录
前置
| 节 | 文章 |
|---|---|
| — | 目录与学习路径 |
第 1 章 MPP 执行模型总览
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 从单机到集群:计划为什么必须分裂(fragment/stage) |
| 1.2 | 1.2 Coordinator、Worker 与查询生命周期 |
| 1.3 | 1.3 MPP、批处理与流引擎的执行模型对照 |
第 2 章 数据分布与分区
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 hash 分区与 bucket:分布函数与并行度 |
| 2.2 | 2.2 range/list/replicate 与 colocate 分布 |
| 2.3 | 2.3 分区裁剪与数据倾斜的静态来源 |
第 3 章 数据交换(Exchange)
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 repartition、broadcast 与 gather 的语义 |
| 3.2 | 3.2 exchange 的缓冲、批与流控 |
| 3.3 | 3.3 跨节点 pipeline 执行与 morsel 调度 |
第 4 章 分布式 Join
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 broadcast join 与 shuffle join 的判据 |
| 4.2 | 4.2 colocate join 与 bucketed join |
| 4.3 | 4.3 semi/anti join、runtime filter 与 bloom 下推 |
第 5 章 分布式聚合
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 两阶段聚合:partial 与 final |
| 5.2 | 5.2 count distinct 与 HyperLogLog 近似 |
| 5.3 | 5.3 聚合下推与预聚合(rollup 与 MV) |
第 6 章 全局排序与 TopN
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 全局排序的归并与限额 |
| 6.2 | 6.2 TopN 下推与局部 TopN |
| 6.3 | 6.3 窗口函数的分区要求与 shuffle 代价 |
第 7 章 查询调度与资源管理
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 查询队列与 admission control |
| 7.2 | 7.2 资源组、并发隔离与内存配额 |
| 7.3 | 7.3 spill、远端溢写与 OOM 防护 |
第 8 章 Connector 与联邦查询
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 connector 抽象:split、分区与并行度 |
| 8.2 | 8.2 谓词与列下推到外部数据源 |
| 8.3 | 8.3 跨源 join 与数据移动的代价决策 |
第 9 章 物化视图与自动改写
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 物化视图的定义、刷新与增量维护 |
| 9.2 | 9.2 查询改写:MV 匹配与聚合上卷 |
| 9.3 | 9.3 透明加速的边界、失效与回退 |
第 10 章 缓存体系
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 元数据缓存与分区发现 |
| 10.2 | 10.2 文件缓存与结果缓存 |
| 10.3 | 10.3 缓存一致性、失效与命中率建模 |
第 11 章 湖仓加速
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 Iceberg/Delta/Hudi 的 MPP 读取路径 |
| 11.2 | 11.2 元数据与清单的规划开销 |
| 11.3 | 11.3 湖上 MPP 与专用数仓的取舍 |
第 12 章 分布式查询容错
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 worker 失败与 partial retry |
| 12.2 | 12.2 结果去重、幂等与重试放大 |
| 12.3 | 12.3 查询取消与资源回收 |
第 13 章 引擎对比
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 Trino/Presto 的 connector 与 MPP 模型 |
| 13.2 | 13.2 StarRocks/Doris 的存算与 colocate |
| 13.3 | 13.3 ClickHouse 的分布式表与两阶段聚合 |
第 14 章 查询服务化与网关
| 节 | 文章 |
|---|---|
| 14.1 | 14.1 查询网关、路由与限流 |
| 14.2 | 14.2 语义层与查询重写 |
| 14.3 | 14.3 多引擎联邦与数据虚拟化 |
第 15 章 卷六收口
| 节 | 文章 |
|---|---|
| 15.1 | 15.1 分布式执行的设计空间总结 |
| 15.2 | 15.2 六卷主线回顾(模型/存储/调度/执行/一致性) |
| 15.3 | 15.3 从 MPP 引擎到自研查询服务 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 卷六 目录与学习路径 :45 篇的三条阅读路线、十五章依赖关系与逐节索引。
- 卷一 计算模型与分布式文件系统 :任务级重放与 HDFS/YARN 的完整框架。
- 卷二 批处理引擎:Spark 内核 :RDD 血缘、DAG 调度与 Shuffle,是本卷 exchange 与 join 的引擎背景。
- 卷三 流计算与状态引擎:Flink 内核 :状态检查点与端到端精确一次。
- 卷四 调度、数据湖与分布式训练 :Iceberg/Delta 元数据与目录事务,是本卷 11 章湖仓加速的前置。
- 卷五 执行引擎与存储格式内核 :单机执行模型、列式格式与算子实现,是本卷把同一套算子扩展到集群的直接基础。