1.1 从单机到集群:计划为什么必须分裂(fragment/stage)
分布式规划先为物理算子确定所需的数据分布,再在远端交换边上切成 Fragment。各 Stage 的 Task 数取决于该片段的分布、数据和调度策略。
从物理属性到片段树
flowchart TB
C["客户端"] -->|"提交 SQL"| Q["协调器:分析、优化、切 Fragment"]
Q -.->|"调度 Stage 与 Task"| D
Q -.->|"调度 Stage 与 Task"| J
Q -.->|"调度 Stage 与 Task"| F
Q -.->|"调度单目的 Stage"| O
subgraph Work["工作节点数据面"]
D["维表 Fragment:扫描、过滤、投影"]
J["连接 Fragment:事实侧扫描、Build、Probe、局部聚合"]
F["聚合 Fragment:按组归并中间态"]
D -->|"Remote Broadcast"| J
J -->|"Remote Hash Exchange"| F
end
F -->|"Remote Gather"| O["单目的输出 Fragment"]
O -->|"结果页"| Q
Q -->|"nextUri 分页或终结"| C
以订单和过滤后的客户维表为例。维表较小,可广播给运行连接的每个实例;连接结果先进行局部聚合,部分状态随后按地区哈希发送给最终聚合;最上层 Gather 提供统一结果入口。对这棵例示树,切三条远端边产生四个片段。广播本身就是一种交换,节点内线程间的 Local Exchange 可以保留在同一 Fragment。
Trino 的 PlanFragmenter 把远端交换的输入切成子计划,在消费侧用 RemoteSource 引用生产 Fragment。在 EXPLAIN (TYPE DISTRIBUTED) 中,从 Fragment 0 的 RemoteSource[sourceFragmentIds = …] 回溯到对应的输出布局和分区方案。用书末实验包中的 trino-probe.py 获取同一查询的完整计划。
从 Fragment 到 Stage、Task、Attempt
| 名称 | 本书中的含义 | 实际需要量化 |
|---|---|---|
| Fragment | 物理执行计划片段 | 输出分布、输入片段、远端边 |
| Stage | 查询执行中对 Fragment 的管理单元 | Task 数、上下游依赖、执行策略 |
| Task | Stage 内的一份执行工作 | 逻辑分区、Split、节点、运行时间 |
| Attempt | 对该逻辑 Task 的一次尝试 | 重试次数、是否成功发布 |
| Driver | Task 内推动一条本地流水的运行实例 | 驱动数、阻塞和算子 CPU |
假设四个片段分别创建 4、16、16、1 个 Task,总数为 37。各段在时域上可能重叠,37 也不等于并发槽位数。若每个片段恰好都是 16 个 Task,模型才得到 64。一个 Task 可多次尝试,失败恢复与可重读交换的关系见第 12.1 节 。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。
Trino 484 PlanFragmenter 源码 · Trino 分布式计划
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。