《大规模分布式计算深入解析·执行引擎与存储格式内核》 · 目录与学习路径(45 篇)

卷五〈执行引擎与存储格式内核〉的阅读路径:三条路线(性能排障 / 引擎原理 / 湖仓平台)、十五章依赖图、五组问题追踪与 45 节逐节索引;配套 bd-engine-lab 116 个断言,每节给出可复算的字节与时间账本。

这是卷五《执行引擎与存储格式内核》的阅读地图。全书 45 篇回答一个问题:同一条查询,为什么有的引擎快几十倍。答案不在某个魔法参数,而在五层账本:执行模型的行级开销、表达式的求值成本、文件格式的字节布局、算子的内存与溢写、优化器的估算与决策。每一层都有可复算的数字,lab 用 116 个断言把它们固定下来。

系列导读与实验 · 全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五(本卷) · 卷六

下载卷五 Java 8 实验 · DuckDB 原生对照脚本

三条阅读路线

路线 A:性能排障(最快见效)

从「慢在哪」入手,先建立 IO 与算子的账本,再回头补原理。

  1. 第 14 章 性能工程:基准方法学、剖析、从慢查询到根因。
  2. 第 3–4 章 列式格式与裁剪:为什么读得多、为什么跳不过。
  3. 第 5 章 扫描与下推:把读放大压到最低。
  4. 第 6–7 章 算子:join 与聚合的内存、溢写与倾斜。
  5. 第 9 章 自适应执行:运行时修正估算错误。

路线 B:引擎原理(按依赖顺序)

从执行模型一路读到优化器,适合想理解「引擎为什么这样设计」的读者。

  1. 第 1–2 章 执行模型、表达式与代码生成。
  2. 第 3–5 章 文件格式、统计裁剪、扫描与下推。
  3. 第 6–7 章 算子实现。
  4. 第 8–9 章 优化器与自适应执行。
  5. 第 10–13 章 存算分离、现代引擎、云数仓与实时湖仓。
  6. 第 15 章 收口。

路线 C:湖仓与平台(面向选型)

从架构取舍入手,把内核章节当参考手册。

  1. 第 10 章 存算分离:对象存储语义与缓存。
  2. 第 11–12 章 现代引擎与 Serverless 云数仓。
  3. 第 13 章 实时湖仓表模型:Paimon/Hudi。
  4. 第 14 章 基准与成本。
  5. 需要时回查第 3–9 章的具体账本。

五卷主线对照

卷核心问题一致性边界本卷关系
卷一 计算模型与分布式文件系统计算如何被切分与重放任务级重放本卷 3–5 章的存储语义前置
卷二 批处理引擎:Spark 内核血缘如何驱动重算血缘重算本卷 6–9 章把它的算子与优化器拆到字节级
卷三 流计算与状态引擎:Flink 内核状态如何被检查点化状态检查点本卷 13 章的流式湖仓与其衔接
卷四 调度、数据湖与分布式训练资源与目录如何被事务化目录事务 / 梯度共识本卷 3–5、13 章的格式与表模型下钻
卷五 执行引擎与存储格式内核一条查询的性能由什么决定字节与时间的账本五层账本收口于第 15 章

十五章依赖图

flowchart TD
  C1[1 执行模型] --> C2[2 表达式与代码生成]
  C2 --> C3[3 列式格式]
  C3 --> C4[4 统计与裁剪]
  C4 --> C5[5 扫描与下推]
  C5 --> C6[6 Join 算子]
  C5 --> C7[7 聚合与窗口]
  C6 --> C8[8 查询优化器]
  C7 --> C8
  C8 --> C9[9 自适应执行]
  C3 --> C10[10 存算分离]
  C9 --> C10
  C10 --> C11[11 现代引擎对比]
  C10 --> C12[12 Serverless 与云数仓]
  C10 --> C13[13 实时湖仓表模型]
  C5 --> C14[14 性能工程]
  C9 --> C14
  C11 --> C15[15 卷五收口]
  C12 --> C15
  C13 --> C15
  C14 --> C15
  C1 --> C15

五组问题追踪

问题章节关键结论
逐行执行贵在哪1–2800 万行 3 算子产生 2400 万次调用、360ms 调度税;向量化摊薄到 3.516ms
数据为什么读得多3–5字典编码 6.36 倍、zone map 跳过 90% 文件、下推把 100MB 降到 1MB
算子为什么溢写6–7800MB 数据 64MB 内存切 13 个 run、外部排序 3 倍 IO;预聚合降 90% shuffle
优化器为什么选错8–9统计过期偏差 100 倍、join 顺序中间结果差 10 倍;AQE 运行时修正
存算分离的代价10–14List 1000 次 50s、缓存命中 90% 时平均 5.9ms;冷启动与按扫描量计费

逐节索引

节标题关键账本
1.1火山模型:迭代器与逐行开销2400 万次调用、360ms
1.2向量化执行:批处理与 CPU 效率7813 批、23439 次调用
1.3Push 模型与 Morsel 驱动并行800 个 morsel、2000ms
2.1表达式树与解释开销900 万次节点求值、36ms
2.2全阶段代码生成(Tungsten)6ms 融合循环、1.024GB 中间结果
2.3JIT 与向量化原语(DuckDB/Velox)2.5ns 摊销、2.7 倍 SIMD
3.1Parquet 布局:row group、page 与 column chunk区分行组预算、列块与真实页数
3.2编码与压缩:字典、RLE、Bit-packing、Zstd3 字节位打包、1.258MB 字典
3.3ORC 对比与格式选型点查 + 非 Spark 选 ORC
4.1min/max 与 zone map跳过 90 个文件、重叠时 0 跳过
4.2布隆过滤器与 Puffin 统计95851 位、7 个哈希
4.3文件级统计与跳过策略20→12 个文件、88% 组合跳过
5.1谓词下推到存储层100MB 降到 1MB
5.2延迟物化与列裁剪20.8% IO、3% 列裁剪
5.3并行扫描与 IO 调度3.2 倍、6.25s、320 req/s
6.1Hash join:build 与 probe12MB 哈希表、100ms probe
6.2Sort-merge join 与 spill26.5754s 排序、13 个 run
6.3Broadcast、嵌套循环与 runtime filter1000MB 广播、省 95%
7.1Hash aggregate 与分组3.2MB 表、降 90% shuffle
7.2Sort-based aggregate 与 spill1993 万次比较、32B 内存
7.3窗口算子与增量计算1000 万降到 200 万次
8.1逻辑计划与规则优化中间结果减 90%
8.2CBO 与统计信息选择率 0.001、偏差 100 倍
8.3Join reorder 与代价模型24 种顺序、差 10 倍
9.1AQE 与运行时统计200→10 个分区
9.2动态分区裁剪10TB 剪到 1TB
9.3自适应 join 与倾斜处理3 个倾斜分区、拆 10 份
10.1对象存储语义:S3 一致性与 List 代价1000 次 List、50s
10.2缓存层:本地盘与分布式缓存5.9ms 平均延迟、83.3% 上限
10.3计算下推与本地性重建降 99.99%、快 20 倍
11.1DuckDB:单机 Morsel 与向量化100 个 morsel、4 线程 625ms
11.2Velox 与 ClickHouse 执行栈向量化批 2048、列存 3%
11.3DataFusion 与 Spark 的取舍单机 <1TB 的判据
12.1Snowflake:微分区与虚拟仓库64 个微分区、128 credits
12.2BigQuery/Athena 的无服务器模型单项和联合裁剪的费用模型
12.3弹性、冷启动与成本冷启动额外 36s
13.1Paimon 的 LSM 表模型候选 run、写入字节与合并语义
13.2Hudi 的 COW/MOR 与增量读COW 100 倍、MOR 1%
13.3流式读写与 Compaction消除 99% 读放大
14.1基准方法学与 TPC-DS几何平均 1.0715s
14.2剖析与热点定位990 个样本、前 3 算子 90%
14.3从慢查询到根因扫描主导判为 IO
15.1执行引擎设计空间总结五层账本
15.2五卷主线回顾(模型/存储/调度/执行/一致)225 篇的跨卷阅读路径
15.3从引擎到自研执行层迁移判据

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图