9.2 动态分区裁剪
动态分区裁剪在查询执行时,用关联另一侧导出的键过滤扫描分区。以 Spark 3.5.7 为例,规划要检查过滤侧选择性、连接方向、分区属性和收益。物理计划可能复用广播 Exchange,也可能为保留的动态条件执行过滤子查询,或者省略无法复用且收益不足的条件。AQE 可影响广播及其复用。 Spark 3.5.7 DPP 规划源码
可解释的三个对照
| 对照 | 在 EXPLAIN 和运行指标查什么 |
|---|---|
| 分区列与关联键可匹配,广播可复用 | 检查分区过滤条件、动态表达式及复用子查询,比较扫描任务数 |
| 关闭 DPP | 使用同一数据和会话设置,仅切换 spark.sql.optimizer.dynamicPartitionPruning.enabled,核对结果一致和统计差异 |
| 多个键映射到一个分区,或分区大小不均匀 | 数实际匹配的分区及数据字节,并检查剩余行过滤 |
例如 1000 个键如果恰好对应 1 万个等大的有效分区中的 1000 个,估算扫描量为原来的 10%。如果 1000 个键落在 50 个分区,或者其中一个分区很大,键数无法换算扫描字节。运行时过滤本身也有代价,计划保留它的前提是整体收益。
三个常见误解
- “先运行完整 build 侧是唯一实现”。可能复用现有广播,也可能单独规划过滤子查询。
- “键数决定字节数”。需要键到分区的映射和分区大小。
- “DPP 就是 AQE”。分区过滤和按运行统计重写剩余计划各有条件。
一句话总结本节
用计划确认过滤从哪里来,用运行指标核对按分区实际跳过的数据。
Spark 动态裁剪的三条分支
对照 EXPLAIN 的动态过滤表达式及运行指标。统计缺失、禁用配置或复用条件不满足时可能直接扫描原候选。
flowchart TD
A[分区列与过滤侧关联] --> B{语义与配置允许 DPP}
B -->|否| F[按静态条件扫描]
B -->|是| C{满足广播复用条件}
C -->|是| D[复用广播产生运行时键]
C -->|否| E{独立子查询可用且有收益}
E -->|否| F
E -->|是| G[执行过滤子查询]
D --> H[映射键至实际分区并过滤]
G --> H
H --> I[记录分区数、输入字节与结果行]
F --> I
本节 lab
OptimizerSuite 的 DPP 示例只计算等大分区和一对一映射的理想模型。按本节三组对照检查真实 Spark。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。