5.1 谓词下推到存储层
对 WHERE k = 4,扫描计划可在文件、row group、page 和行级做判断。前几层利用元数据排除物理读取,剩余行级谓词需要实际读取和求值。对于不受支持的表达式、不同的空值语义或不兼容类型转换,应保留剩余谓词给上层算子。例如,连接器只支持对 k 的等值判断时,可下推等值部分,把相邻的自定义函数留在扫描上方。
三本账
- 物理 I/O 记录从存储读取的压缩字节、范围请求次数及缓存命中。
- 解码与计算 记录实际解出的值、解压时间以及进入过滤的行。
- 算子输出 记录传给下个算子或跨网络发送的行和字节。两列各含变长内容时,要用输出实际表示计量。
100 万行每行 100 B、命中 1%,结果按同样的行宽估算为 1 MB,全部逻辑输入为 100 MB。如果所有行组都混有目标值,扫描仍可能要读取所有谓词列的数据。列裁剪和延迟物化还可进一步减少投影列所需的 I/O,但依赖 reader 的取数路径。
用两份 Parquet 复算
将同样的键和记录分别聚簇和混排。卷五实验用 DuckDB 1.4.4 写出两份各 100 万行、各 10 个 row group 的 Parquet。同一个等值查询都返回 10 万行。按文件中的 min/max,聚簇文件有 2 个候选行组,混排文件有 10 个。两个数是统计候选,实际字节需从所用引擎的 I/O 指标另取。 Parquet Page Index
三个常见误解
- “只有 1% 输出就只读 1% 文件”。物理读取取决于布局、索引与支持粒度。
- “下推等于无需复查”。统计裁剪留下的是候选集。
- “EXPLAIN 里的下推已经说明节省多少字节”。还要对照真实扫描指标。
一句话总结本节
谓词所处层次决定能减少候选、解码还是输出,改布局后用相同过滤结果和独立 I/O 指标验证。
原生扫描与裁剪图
以下是逻辑层次。产品具体支持哪些索引、读取次序及粒度,以被测 reader 为准。
flowchart TD
A[SELECT id WHERE k = 4] --> B[绑定快照和候选文件]
B --> C[按 manifest 或文件统计排除文件]
C --> D[读候选 Parquet footer]
D --> E[按列块 min max 与可用 Bloom 排除 row group]
E --> F{读者支持相应页索引}
F -->|是| G[ColumnIndex 判页<br/>OffsetIndex 定位行及其他投影列]
F -->|否或缺失| H[保留整个候选列块]
G --> I[读取并解码谓词列和所需投影列]
H --> I
I --> J[按行执行剩余谓词]
J --> K[记录输出行、扫描量与算子耗时]
L[Puffin Theta sketch] -. 估计 NDV .-> M[优化器的基数与计划选择]
上游实现参照
本节 lab
FormatSuite 用例 37–38 验证选择率与定长行的逻辑输出体积。DuckDB 原生对照
读取真实 Parquet 元数据。运行方式见五卷导读
。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。