《大规模分布式计算深入解析》8.2 谓词与列下推到外部数据源

谓词下推、投影下推和文件裁剪分别改变远端计算、返回列、物理 I/O。Connector 可能只接受部分约束。

8.2 谓词与列下推到外部数据源

谓词下推、投影下推和文件裁剪分别改变远端计算、返回列、物理 I/O。Connector 可能只接受部分约束。

对三个量分别建账

flowchart LR
  Q["查询谓词与投影"] --> V{"Connector 能保持语义?"}
  V -->|"能处理全部或部分"| P["提交接受的约束与列"]
  V -->|"不能处理"| C["保留所需列与 residual"]
  P --> S["源端读取:记录物理 IO"]
  C --> S
  S --> R["返回序列化结果:记录源端输出"]
  R --> F["执行 residual 与投影"]
  F --> E["按物理计划交换:记录跨机字节"]

以 100 GiB 输入、1% 行返回、投影列占同口径字节 3% 为例,理想远端输出模型是 30.72 MiB。条件要能完全下推,且列字节占比应以返回行的代表性宽度估算。扫描磁盘仍可能读取所有相关 Parquet 行组和过滤列,Exchange 还能因重新编码、重复广播发生变化。卷五的 Parquet 探针用同样结果行数对照不同候选行组。

检查 residual 与类型语义

下推方言必须在 NULL、时区、Decimal 精度、排序规则、表达式异常等方面保持相同语义。不能安全执行的部分留在引擎做 residual。Trino 的 EXPLAIN 可定位 ScanFilterProject、Connector 表句柄和独立聚合/过滤结点;检验实际远端查询与三个字节指标,再用同一快照比对结果。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

Trino Connector 下推

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图