《大规模分布式计算深入解析》1.1 从单机到集群:计划为什么必须分裂(fragment/stage)

分布式规划先为物理算子确定所需的数据分布,再在远端交换边上切成 Fragment。各 Stage 的 Task 数取决于该片段的分布、数据和调度策略。

1.1 从单机到集群:计划为什么必须分裂(fragment/stage)

分布式规划先为物理算子确定所需的数据分布,再在远端交换边上切成 Fragment。各 Stage 的 Task 数取决于该片段的分布、数据和调度策略。

从物理属性到片段树

flowchart TB
  C["客户端"] -->|"提交 SQL"| Q["协调器:分析、优化、切 Fragment"]
  Q -.->|"调度 Stage 与 Task"| D
  Q -.->|"调度 Stage 与 Task"| J
  Q -.->|"调度 Stage 与 Task"| F
  Q -.->|"调度单目的 Stage"| O
  subgraph Work["工作节点数据面"]
    D["维表 Fragment:扫描、过滤、投影"]
    J["连接 Fragment:事实侧扫描、Build、Probe、局部聚合"]
    F["聚合 Fragment:按组归并中间态"]
    D -->|"Remote Broadcast"| J
    J -->|"Remote Hash Exchange"| F
  end
  F -->|"Remote Gather"| O["单目的输出 Fragment"]
  O -->|"结果页"| Q
  Q -->|"nextUri 分页或终结"| C

以订单和过滤后的客户维表为例。维表较小,可广播给运行连接的每个实例;连接结果先进行局部聚合,部分状态随后按地区哈希发送给最终聚合;最上层 Gather 提供统一结果入口。对这棵例示树,切三条远端边产生四个片段。广播本身就是一种交换,节点内线程间的 Local Exchange 可以保留在同一 Fragment。

Trino 的 PlanFragmenter 把远端交换的输入切成子计划,在消费侧用 RemoteSource 引用生产 Fragment。在 EXPLAIN (TYPE DISTRIBUTED) 中,从 Fragment 0 的 RemoteSource[sourceFragmentIds = …] 回溯到对应的输出布局和分区方案。用书末实验包中的 trino-probe.py 获取同一查询的完整计划。

从 Fragment 到 Stage、Task、Attempt

名称本书中的含义实际需要量化
Fragment物理执行计划片段输出分布、输入片段、远端边
Stage查询执行中对 Fragment 的管理单元Task 数、上下游依赖、执行策略
TaskStage 内的一份执行工作逻辑分区、Split、节点、运行时间
Attempt对该逻辑 Task 的一次尝试重试次数、是否成功发布
DriverTask 内推动一条本地流水的运行实例驱动数、阻塞和算子 CPU

假设四个片段分别创建 4、16、16、1 个 Task,总数为 37。各段在时域上可能重叠,37 也不等于并发槽位数。若每个片段恰好都是 16 个 Task,模型才得到 64。一个 Task 可多次尝试,失败恢复与可重读交换的关系见第 12.1 节 。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。

Trino 484 PlanFragmenter 源码 · Trino 分布式计划

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图