《大规模分布式计算深入解析》5.1 谓词下推到存储层

区分统计裁剪、读取时过滤和输出体积,用 Parquet 实验比较相同选择率下的候选行组。

5.1 谓词下推到存储层

对 WHERE k = 4,扫描计划可在文件、row group、page 和行级做判断。前几层利用元数据排除物理读取,剩余行级谓词需要实际读取和求值。对于不受支持的表达式、不同的空值语义或不兼容类型转换,应保留剩余谓词给上层算子。例如,连接器只支持对 k 的等值判断时,可下推等值部分,把相邻的自定义函数留在扫描上方。

三本账

  • 物理 I/O 记录从存储读取的压缩字节、范围请求次数及缓存命中。
  • 解码与计算 记录实际解出的值、解压时间以及进入过滤的行。
  • 算子输出 记录传给下个算子或跨网络发送的行和字节。两列各含变长内容时,要用输出实际表示计量。

100 万行每行 100 B、命中 1%,结果按同样的行宽估算为 1 MB,全部逻辑输入为 100 MB。如果所有行组都混有目标值,扫描仍可能要读取所有谓词列的数据。列裁剪和延迟物化还可进一步减少投影列所需的 I/O,但依赖 reader 的取数路径。

用两份 Parquet 复算

将同样的键和记录分别聚簇和混排。卷五实验用 DuckDB 1.4.4 写出两份各 100 万行、各 10 个 row group 的 Parquet。同一个等值查询都返回 10 万行。按文件中的 min/max,聚簇文件有 2 个候选行组,混排文件有 10 个。两个数是统计候选,实际字节需从所用引擎的 I/O 指标另取。 Parquet Page Index

三个常见误解

  • “只有 1% 输出就只读 1% 文件”。物理读取取决于布局、索引与支持粒度。
  • “下推等于无需复查”。统计裁剪留下的是候选集。
  • “EXPLAIN 里的下推已经说明节省多少字节”。还要对照真实扫描指标。

一句话总结本节

谓词所处层次决定能减少候选、解码还是输出,改布局后用相同过滤结果和独立 I/O 指标验证。

原生扫描与裁剪图

以下是逻辑层次。产品具体支持哪些索引、读取次序及粒度,以被测 reader 为准。

flowchart TD
    A[SELECT id WHERE k = 4] --> B[绑定快照和候选文件]
    B --> C[按 manifest 或文件统计排除文件]
    C --> D[读候选 Parquet footer]
    D --> E[按列块 min max 与可用 Bloom 排除 row group]
    E --> F{读者支持相应页索引}
    F -->|是| G[ColumnIndex 判页<br/>OffsetIndex 定位行及其他投影列]
    F -->|否或缺失| H[保留整个候选列块]
    G --> I[读取并解码谓词列和所需投影列]
    H --> I
    I --> J[按行执行剩余谓词]
    J --> K[记录输出行、扫描量与算子耗时]
    L[Puffin Theta sketch] -. 估计 NDV .-> M[优化器的基数与计划选择]

上游实现参照

DuckDB Parquet pushdown

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

FormatSuite 用例 37–38 验证选择率与定长行的逻辑输出体积。DuckDB 原生对照 读取真实 Parquet 元数据。运行方式见五卷导读 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图