5.2 延迟物化与列裁剪
上一节把过滤条件下推到存储层,解决的是「哪些行不用读」。这一节处理另一个维度:即使是命中的行,也不是每一列都需要。宽表把几百个字段并排放在一起,查询却常常只碰其中三五列,剩下的大部分列被读出来又原样丢弃。
列裁剪与延迟物化是两种互补的手段:前者减少「读哪些列」,后者决定「什么时候读数据列」。两者叠加,才能把宽表查询的 IO 压到与真实需求相称的水平。
宽表的浪费从哪里来
行式存储把一行中的所有列连续放在一起,读一列也要把整行读进来;列式存储把每列单独组织,读三列就只碰三列。列裁剪的收益首先来自列式布局,没有列存,后面所有比例都无从谈起。
除了布局,第二个浪费来自执行顺序:如果先把所有列都读出来再做过滤,那么被过滤掉的行,其数据列也白读了。延迟物化正是针对这一点——先只读过滤列,确定哪些行命中,再回表取这些行的数据列。
| 手段 | 减少什么 | 依赖的布局 | 主要收益 |
|---|---|---|---|
| 列裁剪 | 读取的列数 | 列式存储 | 宽表少读无关列 |
| 延迟物化 | 数据列的读取行数 | 行号可定位 | 过滤后只物化命中行 |
列裁剪:100 列只读 3 列
lab 的用例 39 给出最直接的比例。一张 100 列的表,查询只用到 3 列:
IO 比例 = 读取列数 / 总列数 = 3 / 100 = 3%
1GB 的表按此比例读取 = 1GB × 3% = 30MB
| 口径 | 读取列数 | IO 比例 | 1GB 表实际读取 |
|---|---|---|---|
| 不裁剪 | 100 | 100% | 1GB |
| 列裁剪 | 3 | 3% | 30MB |
| 差距 | 少读大部分列 | 3% | 30MB |
3% 这个数字只说明「读得少」,不说明「算得快」。列裁剪省下的是扫描与解压的字节,但如果查询本身要做全表聚合,CPU 仍可能成为瓶颈。判断是否有效,要看 IO 时间在总耗时中的占比。
列裁剪的边界
列裁剪听起来简单,实际受几个条件约束:
| 条件 | 影响 | 应对 |
|---|---|---|
| 存储必须是列式 | 行式存储无法只读部分列 | 使用 Parquet、ORC 等列式格式 |
| 嵌套字段需按叶子列裁剪 | 只读父字段仍可能带出全部子列 | 按叶子路径投影 |
| 过滤列必须读 | 谓词依赖的列不能裁掉 | 把过滤列计入读取集合 |
| 输出列必须读 | 最终结果需要的列不能裁掉 | 投影下推与列裁剪配合 |
过滤列与输出列的交集决定了列裁剪的下限。查询只读 3 列,但如果其中 2 列用于过滤、1 列用于输出,那么这 3 列一列都不能少;能裁掉的只是其余列。
延迟物化:先过滤,后取列
延迟物化把读取分成两阶段。第一阶段只读过滤列,得到命中行的行号;第二阶段按行号回表,读取这些行的数据列。
lab 的用例 40 是一个宽表算例:20 列过滤列、80 列数据列,选择率 1%。数据列并不需要全读,只需要为命中的 1% 行物化:
过滤列读取比例 = 20 / 100 = 20%
数据列物化比例 = 80 / 100 × 1% = 0.8%
合计 IO 比例 = 20% + 0.8% = 20.8%
| 组成 | 列数 | 读取方式 | IO 占比 |
|---|---|---|---|
| 过滤列 | 20 | 全部读取 | 20% |
| 数据列 | 80 | 仅命中行物化 | 0.8% |
| 合计 | 100 | 两阶段 | 20.8% |
20.8% 的构成是「20 列全读」加「80 列乘 1%」:前者是过滤无法避免的成本,后者是延迟物化省下来的部分。如果一开始就把 100 列全读,IO 比例是 100%;延迟物化把它压到 20.8%,相对全读节省 100% - 20.8% = 79.2%。
20.8% 意味着什么
这个比例可以拆成两句话来读:
- 过滤列是固定开销:20 列必须整列扫描,无论选择率多低都省不掉;
- 数据列是可变开销:80 列只按选择率物化,选择率越低,这部分越接近零。
| 选择率 | 数据列 IO 占比 | 合计 IO 比例 | 相对全读节省 |
|---|---|---|---|
| 1% | 0.8% | 20.8% | 79.2% |
| 更高 | 更高 | 高于 20.8% | 低于 79.2% |
延迟物化的收益随选择率下降而放大。选择率接近 100% 时,数据列几乎全部要物化,两阶段读取反而多了一次回表开销,此时不如一次顺序读完整行。
物化时机的代价:随机读与顺序读
延迟物化不是免费的。第一阶段拿到的是离散行号,第二阶段回表时,这些行在列文件中并不连续:
| 物化时机 | 读取模式 | 优点 | 代价 |
|---|---|---|---|
| 提前物化 | 顺序读整列 | 顺序 IO,吞吐高 | 读到大量不需要的行 |
| 延迟物化 | 按行号回表 | 只读物化命中行 | 随机读,寻址开销高 |
顺序读擅长吞吐,随机读擅长挑选。当命中行在文件中分布稀疏时,回表的随机读会把省下的字节又吐回去一部分;当命中行相对集中,或存储对随机读友好时,延迟物化才明显划算。
这也是选择率不能太高的原因:选择率越高,命中行越密集,回表越接近顺序读,两阶段的开销就越不划算;选择率很低时,命中行稀疏但数量少,随机读的总次数有限,延迟物化反而占优。
宽表场景的取舍
把两种手段放在一起,宽表查询的决策可以归纳成一张表:
| 场景 | 列裁剪 | 延迟物化 | 结论 |
|---|---|---|---|
| 只读少数列、选择率低 | 收益大 | 收益大 | 两者叠加,IO 可降到很小 |
| 只读少数列、选择率高 | 收益大 | 收益小 | 只做列裁剪,避免回表 |
| 读很多列、选择率低 | 收益小 | 收益大 | 以延迟物化为主 |
| 读很多列、选择率高 | 收益小 | 收益小 | 接近全表扫描,优化空间有限 |
判断依据是「过滤列占比」与「选择率」两个变量。过滤列越少、选择率越低,延迟物化的空间越大;过滤列本身就很多时,第一阶段的全列扫描已经把成本推高,收益被摊薄。
投影下推与列裁剪的关系
列裁剪在执行计划里通常以「投影下推」的形式出现:
| 层次 | 做什么 | 效果 |
|---|---|---|
| SQL 投影 | 只选择需要的输出列 | 减少上层处理列数 |
| 投影下推 | 把列需求传到扫描算子 | 扫描只读这些列 |
| 存储投影 | 列式读取只取对应 column chunk | 真正减少 IO |
三层缺一不可:SQL 写了只查 3 列,但优化器没有把投影传到扫描层,存储仍然会读 100 列;只有投影一路下推到列式读取,3% 的 IO 比例才成立。
行号:延迟物化的关键依赖
延迟物化第二阶段要按行号回表,因此第一阶段必须产出稳定、可定位的行标识:
| 行标识 | 是否可用 | 说明 |
|---|---|---|
| 文件内行号 | 可用 | 同一文件内偏移稳定 |
| 全局行号 | 视实现 | 需要额外的行号映射 |
| 主键值 | 可用 | 需二次查找,成本更高 |
| 物理偏移 | 可用 | 最直接,但依赖格式布局 |
没有行号,延迟物化就退化成两次全读。第一阶段读完过滤列后,如果无法定位命中行在数据列中的位置,第二阶段只能再扫一遍数据列,省字节的初衷就落空了。
一个宽表查询的完整账本
把列裁剪与延迟物化合起来,一个 100 列宽表查询的 IO 可以这样逐项对账:
全读基线 = 100 列 = 100%
延迟物化 = 20 列过滤列全读 + 80 列数据列 × 1%
= 20% + 0.8% = 20.8%
纯列裁剪示例 = 3 列 / 100 列 = 3%
| 方案 | 读取内容 | IO 比例 |
|---|---|---|
| 全表读取 | 100 列全部 | 100% |
| 纯列裁剪 | 只读查询涉及的列 | 3% |
| 延迟物化 | 过滤列全读 + 数据列按选择率 | 20.8% |
三个比例对应三种不同的查询形态:只读 3 列且不需要宽表数据列时,纯列裁剪最省;需要读取 80 列数据列时,延迟物化把 100% 压到 20.8%。不要把 3% 与 20.8% 直接比较,它们回答的是不同问题。
嵌套列与 Map 字段的裁剪
嵌套结构会放大列裁剪的难度:
| 结构 | 裁剪单位 | 风险 |
|---|---|---|
| Struct | 按叶子字段 | 只读父字段可能带出全部子字段 |
| List | 按元素字段 | 元素数量影响实际读取量 |
| Map | 按键值字段 | 无法按单个键裁剪 |
嵌套字段要裁到叶子路径。只写 SELECT user FROM t 时,如果 user 是包含多个子字段的 Struct,读取层可能把整个 Struct 的所有子列都读出来;写成 SELECT user.id, user.name 才能把投影压到具体叶子列。
三个常见误解
误解一:列裁剪能省掉过滤列,所以读得越少越好。 真相:过滤列是谓词求值的输入,必须整列读取;能裁掉的是既非过滤也非输出的列。
误解二:延迟物化总是比提前物化快。 真相:延迟物化用随机读换少读字节,选择率高或命中行稀疏时,回表开销可能吃掉收益。
误解三:20.8% 是数据列的读取比例。 真相:20.8% 是过滤列 20% 与数据列 0.8% 之和,数据列本身只按 1% 物化。
一句话总结本节
列裁剪把 100 列压到 3 列,IO 比例 3%、1GB 表只读 30MB;延迟物化在此基础上先读 20 列过滤列、再按 1% 物化 80 列数据列,合计 IO 比例 20.8%,相对全读省 79.2%。它的代价是回表随机读,选择率越高、命中行越密集,延迟物化越不划算。
本节 lab
在 bd-engine-lab/ 中验证列裁剪与延迟物化的 IO 比例:
- 源码:
src/format/Format.java与src/format/FormatSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 39 验证「100 列只读 3 列,IO 比例 3%,1GB 表只读 30MB」;用例 40 验证「20 列过滤列全读、80 列数据列按 1% 物化,IO 比例 (20+0.8)/100=20.8%,相对全读省 79.2%」。
- 预期汇总输出:
TOTAL: 116 passed, 0 failed。
对应本节判断链:宽表查询先看读取列数 → 列裁剪把 100 列压到 3 列、IO 降到 3% → 再看过滤列与输出列是否能进一步减少 → 延迟物化只读 20 列过滤列、按 1% 物化 80 列数据列 → 合计 20.8% → 是否采用取决于选择率与回表随机读的代价。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。