《大规模分布式计算深入解析》9.2 动态分区裁剪

区分静态分区裁剪、Spark 3.5.7 的运行时分区过滤、广播复用与回退。

9.2 动态分区裁剪

动态分区裁剪在查询执行时,用关联另一侧导出的键过滤扫描分区。以 Spark 3.5.7 为例,规划要检查过滤侧选择性、连接方向、分区属性和收益。物理计划可能复用广播 Exchange,也可能为保留的动态条件执行过滤子查询,或者省略无法复用且收益不足的条件。AQE 可影响广播及其复用。 Spark 3.5.7 DPP 规划源码

可解释的三个对照

对照在 EXPLAIN 和运行指标查什么
分区列与关联键可匹配,广播可复用检查分区过滤条件、动态表达式及复用子查询,比较扫描任务数
关闭 DPP使用同一数据和会话设置,仅切换 spark.sql.optimizer.dynamicPartitionPruning.enabled,核对结果一致和统计差异
多个键映射到一个分区,或分区大小不均匀数实际匹配的分区及数据字节,并检查剩余行过滤

例如 1000 个键如果恰好对应 1 万个等大的有效分区中的 1000 个,估算扫描量为原来的 10%。如果 1000 个键落在 50 个分区,或者其中一个分区很大,键数无法换算扫描字节。运行时过滤本身也有代价,计划保留它的前提是整体收益。

三个常见误解

  • “先运行完整 build 侧是唯一实现”。可能复用现有广播,也可能单独规划过滤子查询。
  • “键数决定字节数”。需要键到分区的映射和分区大小。
  • “DPP 就是 AQE”。分区过滤和按运行统计重写剩余计划各有条件。

一句话总结本节

用计划确认过滤从哪里来,用运行指标核对按分区实际跳过的数据。

Spark 动态裁剪的三条分支

对照 EXPLAIN 的动态过滤表达式及运行指标。统计缺失、禁用配置或复用条件不满足时可能直接扫描原候选。

flowchart TD
    A[分区列与过滤侧关联] --> B{语义与配置允许 DPP}
    B -->|否| F[按静态条件扫描]
    B -->|是| C{满足广播复用条件}
    C -->|是| D[复用广播产生运行时键]
    C -->|否| E{独立子查询可用且有收益}
    E -->|否| F
    E -->|是| G[执行过滤子查询]
    D --> H[映射键至实际分区并过滤]
    G --> H
    H --> I[记录分区数、输入字节与结果行]
    F --> I

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

OptimizerSuite 的 DPP 示例只计算等大分区和一对一映射的理想模型。按本节三组对照检查真实 Spark。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图