3.1 repartition、broadcast 与 gather 的语义
Exchange 为下游提供确定的分布,并定义数据如何跨 Task 或线程送达。Hash、Broadcast 和 Gather 可以出现在同一条计划。
| 交换 | 消费者需要的属性 | 示例 | 计量 |
|---|---|---|---|
| Repartition | 相同键到同一目的分区 | 分组聚合、分区连接 | 指定 Hash、桶数、跨机比例 |
| Broadcast | 各目的实例读到完整输入 | 构建小侧 Hash 表 | 副本数、实际跨机收发 |
| Gather | 单逻辑目的分区 | 全局归约、结果收口 | 汇入负载、消费者阻塞 |
| Local Exchange | 节点内跨 Driver 重新分派 | 局部聚合归并 | 本地内存、调度与线程 |
用同一计量边界比较
10,000 MB 已序列化输入以独立且均匀的目标映射在 16 个节点重新路由。预期每节点本地保留 1/16,跨机载荷约 9375 MB。若下游 16 个目标实例接收 50 MB 广播,总逻辑接收 800 MB;已有一个本地消费者时可少 50 MB 跨机载荷。Gather 的一个逻辑目的不限制上游同时发送,也不按定义限制目的进程内部的线程数。对 Trino 计划分别核对 Fragment 输出分布、RemoteSource 以及 LocalExchange。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。本章架构或流程见本章机制图
。
Trino 分布式计划 · Trino 484 PlanFragmenter 源码
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。