这是卷五《执行引擎与存储格式内核》的阅读地图。全书 45 篇回答一个问题:同一条查询,为什么有的引擎快几十倍。答案不在某个魔法参数,而在五层账本:执行模型的行级开销、表达式的求值成本、文件格式的字节布局、算子的内存与溢写、优化器的估算与决策。每一层都有可复算的数字,lab 用 116 个断言把它们固定下来。
系列导读与实验 · 全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五(本卷) · 卷六
下载卷五 Java 8 实验 · DuckDB 原生对照脚本
三条阅读路线
路线 A:性能排障(最快见效)
从「慢在哪」入手,先建立 IO 与算子的账本,再回头补原理。
- 第 14 章 性能工程:基准方法学、剖析、从慢查询到根因。
- 第 3–4 章 列式格式与裁剪:为什么读得多、为什么跳不过。
- 第 5 章 扫描与下推:把读放大压到最低。
- 第 6–7 章 算子:join 与聚合的内存、溢写与倾斜。
- 第 9 章 自适应执行:运行时修正估算错误。
路线 B:引擎原理(按依赖顺序)
从执行模型一路读到优化器,适合想理解「引擎为什么这样设计」的读者。
- 第 1–2 章 执行模型、表达式与代码生成。
- 第 3–5 章 文件格式、统计裁剪、扫描与下推。
- 第 6–7 章 算子实现。
- 第 8–9 章 优化器与自适应执行。
- 第 10–13 章 存算分离、现代引擎、云数仓与实时湖仓。
- 第 15 章 收口。
路线 C:湖仓与平台(面向选型)
从架构取舍入手,把内核章节当参考手册。
- 第 10 章 存算分离:对象存储语义与缓存。
- 第 11–12 章 现代引擎与 Serverless 云数仓。
- 第 13 章 实时湖仓表模型:Paimon/Hudi。
- 第 14 章 基准与成本。
- 需要时回查第 3–9 章的具体账本。
五卷主线对照
| 卷 | 核心问题 | 一致性边界 | 本卷关系 |
|---|---|---|---|
| 卷一 计算模型与分布式文件系统 | 计算如何被切分与重放 | 任务级重放 | 本卷 3–5 章的存储语义前置 |
| 卷二 批处理引擎:Spark 内核 | 血缘如何驱动重算 | 血缘重算 | 本卷 6–9 章把它的算子与优化器拆到字节级 |
| 卷三 流计算与状态引擎:Flink 内核 | 状态如何被检查点化 | 状态检查点 | 本卷 13 章的流式湖仓与其衔接 |
| 卷四 调度、数据湖与分布式训练 | 资源与目录如何被事务化 | 目录事务 / 梯度共识 | 本卷 3–5、13 章的格式与表模型下钻 |
| 卷五 执行引擎与存储格式内核 | 一条查询的性能由什么决定 | 字节与时间的账本 | 五层账本收口于第 15 章 |
十五章依赖图
flowchart TD
C1[1 执行模型] --> C2[2 表达式与代码生成]
C2 --> C3[3 列式格式]
C3 --> C4[4 统计与裁剪]
C4 --> C5[5 扫描与下推]
C5 --> C6[6 Join 算子]
C5 --> C7[7 聚合与窗口]
C6 --> C8[8 查询优化器]
C7 --> C8
C8 --> C9[9 自适应执行]
C3 --> C10[10 存算分离]
C9 --> C10
C10 --> C11[11 现代引擎对比]
C10 --> C12[12 Serverless 与云数仓]
C10 --> C13[13 实时湖仓表模型]
C5 --> C14[14 性能工程]
C9 --> C14
C11 --> C15[15 卷五收口]
C12 --> C15
C13 --> C15
C14 --> C15
C1 --> C15
五组问题追踪
| 问题 | 章节 | 关键结论 |
|---|---|---|
| 逐行执行贵在哪 | 1–2 | 800 万行 3 算子产生 2400 万次调用、360ms 调度税;向量化摊薄到 3.516ms |
| 数据为什么读得多 | 3–5 | 字典编码 6.36 倍、zone map 跳过 90% 文件、下推把 100MB 降到 1MB |
| 算子为什么溢写 | 6–7 | 800MB 数据 64MB 内存切 13 个 run、外部排序 3 倍 IO;预聚合降 90% shuffle |
| 优化器为什么选错 | 8–9 | 统计过期偏差 100 倍、join 顺序中间结果差 10 倍;AQE 运行时修正 |
| 存算分离的代价 | 10–14 | List 1000 次 50s、缓存命中 90% 时平均 5.9ms;冷启动与按扫描量计费 |
逐节索引
| 节 | 标题 | 关键账本 |
|---|---|---|
| 1.1 | 火山模型:迭代器与逐行开销 | 2400 万次调用、360ms |
| 1.2 | 向量化执行:批处理与 CPU 效率 | 7813 批、23439 次调用 |
| 1.3 | Push 模型与 Morsel 驱动并行 | 800 个 morsel、2000ms |
| 2.1 | 表达式树与解释开销 | 900 万次节点求值、36ms |
| 2.2 | 全阶段代码生成(Tungsten) | 6ms 融合循环、1.024GB 中间结果 |
| 2.3 | JIT 与向量化原语(DuckDB/Velox) | 2.5ns 摊销、2.7 倍 SIMD |
| 3.1 | Parquet 布局:row group、page 与 column chunk | 区分行组预算、列块与真实页数 |
| 3.2 | 编码与压缩:字典、RLE、Bit-packing、Zstd | 3 字节位打包、1.258MB 字典 |
| 3.3 | ORC 对比与格式选型 | 点查 + 非 Spark 选 ORC |
| 4.1 | min/max 与 zone map | 跳过 90 个文件、重叠时 0 跳过 |
| 4.2 | 布隆过滤器与 Puffin 统计 | 95851 位、7 个哈希 |
| 4.3 | 文件级统计与跳过策略 | 20→12 个文件、88% 组合跳过 |
| 5.1 | 谓词下推到存储层 | 100MB 降到 1MB |
| 5.2 | 延迟物化与列裁剪 | 20.8% IO、3% 列裁剪 |
| 5.3 | 并行扫描与 IO 调度 | 3.2 倍、6.25s、320 req/s |
| 6.1 | Hash join:build 与 probe | 12MB 哈希表、100ms probe |
| 6.2 | Sort-merge join 与 spill | 26.5754s 排序、13 个 run |
| 6.3 | Broadcast、嵌套循环与 runtime filter | 1000MB 广播、省 95% |
| 7.1 | Hash aggregate 与分组 | 3.2MB 表、降 90% shuffle |
| 7.2 | Sort-based aggregate 与 spill | 1993 万次比较、32B 内存 |
| 7.3 | 窗口算子与增量计算 | 1000 万降到 200 万次 |
| 8.1 | 逻辑计划与规则优化 | 中间结果减 90% |
| 8.2 | CBO 与统计信息 | 选择率 0.001、偏差 100 倍 |
| 8.3 | Join reorder 与代价模型 | 24 种顺序、差 10 倍 |
| 9.1 | AQE 与运行时统计 | 200→10 个分区 |
| 9.2 | 动态分区裁剪 | 10TB 剪到 1TB |
| 9.3 | 自适应 join 与倾斜处理 | 3 个倾斜分区、拆 10 份 |
| 10.1 | 对象存储语义:S3 一致性与 List 代价 | 1000 次 List、50s |
| 10.2 | 缓存层:本地盘与分布式缓存 | 5.9ms 平均延迟、83.3% 上限 |
| 10.3 | 计算下推与本地性重建 | 降 99.99%、快 20 倍 |
| 11.1 | DuckDB:单机 Morsel 与向量化 | 100 个 morsel、4 线程 625ms |
| 11.2 | Velox 与 ClickHouse 执行栈 | 向量化批 2048、列存 3% |
| 11.3 | DataFusion 与 Spark 的取舍 | 单机 <1TB 的判据 |
| 12.1 | Snowflake:微分区与虚拟仓库 | 64 个微分区、128 credits |
| 12.2 | BigQuery/Athena 的无服务器模型 | 单项和联合裁剪的费用模型 |
| 12.3 | 弹性、冷启动与成本 | 冷启动额外 36s |
| 13.1 | Paimon 的 LSM 表模型 | 候选 run、写入字节与合并语义 |
| 13.2 | Hudi 的 COW/MOR 与增量读 | COW 100 倍、MOR 1% |
| 13.3 | 流式读写与 Compaction | 消除 99% 读放大 |
| 14.1 | 基准方法学与 TPC-DS | 几何平均 1.0715s |
| 14.2 | 剖析与热点定位 | 990 个样本、前 3 算子 90% |
| 14.3 | 从慢查询到根因 | 扫描主导判为 IO |
| 15.1 | 执行引擎设计空间总结 | 五层账本 |
| 15.2 | 五卷主线回顾(模型/存储/调度/执行/一致) | 225 篇的跨卷阅读路径 |
| 15.3 | 从引擎到自研执行层 | 迁移判据 |
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。