《大规模分布式计算深入解析》3.1 repartition、broadcast 与 gather 的语义

Exchange 为下游提供确定的分布,并定义数据如何跨 Task 或线程送达。Hash、Broadcast 和 Gather 可以出现在同一条计划。

3.1 repartition、broadcast 与 gather 的语义

Exchange 为下游提供确定的分布,并定义数据如何跨 Task 或线程送达。Hash、Broadcast 和 Gather 可以出现在同一条计划。

交换消费者需要的属性示例计量
Repartition相同键到同一目的分区分组聚合、分区连接指定 Hash、桶数、跨机比例
Broadcast各目的实例读到完整输入构建小侧 Hash 表副本数、实际跨机收发
Gather单逻辑目的分区全局归约、结果收口汇入负载、消费者阻塞
Local Exchange节点内跨 Driver 重新分派局部聚合归并本地内存、调度与线程

用同一计量边界比较

10,000 MB 已序列化输入以独立且均匀的目标映射在 16 个节点重新路由。预期每节点本地保留 1/16,跨机载荷约 9375 MB。若下游 16 个目标实例接收 50 MB 广播,总逻辑接收 800 MB;已有一个本地消费者时可少 50 MB 跨机载荷。Gather 的一个逻辑目的不限制上游同时发送,也不按定义限制目的进程内部的线程数。对 Trino 计划分别核对 Fragment 输出分布、RemoteSource 以及 LocalExchange。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。本章架构或流程见本章机制图 。

Trino 分布式计划 · Trino 484 PlanFragmenter 源码

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图