《大规模分布式计算深入解析》13.1 Trino/Presto 的 connector 与 MPP 模型

Trino 和 PrestoDB 是独立演化的项目。以下执行样例固定 Trino 484,PrestoDB 的接口、计划形状与配置需要对照对应版本。

13.1 Trino/Presto 的 connector 与 MPP 模型

Trino 和 PrestoDB 是独立演化的项目。以下执行样例固定 Trino 484,PrestoDB 的接口、计划形状与配置需要对照对应版本。

从 Connector 到 Fragment 的实现定位

Trino Connector 使用 Metadata、表/列句柄、Split Manager 和 PageSource 等接口。规划侧可尝试推入过滤、投影、聚合等能力;工作节点消费 Split。执行时从 EXPLAIN (TYPE DISTRIBUTED) 中提取片段编号、输入/输出分区、RemoteSource 和 LocalExchange,在语义结果之外记录有无动态过滤。在客户端协议中跟踪同一执行的 Query ID。

Trino 484 的实际运行计划

在一个协调器、两个 Worker 上,TPCH Tiny 的 Customer 与 Nation 按国家键连接,限定加拿大,按客户细分聚合并排序。该查询的 EXPLAIN 有 5 个 Fragment,比第 1.1 节的四段示意多一个排序片段。实际层次如下:

计划编号分布执行内容
4SOURCENation 扫描、国家过滤,复制输出
3SOURCECustomer 扫描、复制侧 Build、连接与 Partial 聚合
2HASH按客户细分归并状态,含 Local Exchange
1ROUND_ROBIN分布式排序的分片
0SINGLE有序收口

排序、广播与哈希交换都能沿 RemoteSource 找到输入片段。开启过滤时观察到 nationkey = 3 的动态域,关闭时计划没有动态过滤标记。两次扫描均为 8 个 Customer Split、1500 行输入,最终为 5 组共 69 条匹配。计划显示已生成过滤,是否减少物理读量须查看实际扫描指标。

不同源的过滤和并发能力会改变计划。三源查询的成本不能以源数相乘,分开量源读取、跨源载荷、节点间 Exchange 与结果页。容量、查询指令集、分区能否剪枝、数据驻留与成本一起决定是否采用联邦方案。以第 15.3 节 的对照矩阵作验收。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。本章架构或流程见本章机制图 。

Trino Connector 开发接口 · Trino 分布式计划 · PrestoDB 术语

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图