4.1 broadcast join 与 shuffle join 的判据
广播与重分布的比较需要使用同一 SQL、同一 Build 输入,以及相同的序列化和跨机口径。内存上的 Hash 结构另算。
比较一个经过投影的小维表
flowchart TB
J["分析 Join 类型、键、Build 侧和保留侧"] --> L{"两侧分布及放置可复用?"}
L -->|"是"| C["共置 Join:该边界无跨机搬运"]
L -->|"否"| B{"Build 可广播且复制代价可接受?"}
B -->|"是"| H["广播 Build;各目的实例建表"]
B -->|"否"| D{"可复用一侧桶分布?"}
D -->|"是"| O["单侧重分布"]
D -->|"否"| T["双侧重分布"]
C --> F
H --> F
O --> F
T --> F
F{"可安全丢弃明确未匹配的行?"} -->|"是"| R["下发运行时过滤;Join 仍做精确匹配"]
F -->|"否"| K["保留该侧,按 Join 与 NULL 规则输出"]
| 路径 | 假设 | 网络载荷 |
|---|---|---|
| 广播 | Build 50 MB,16 个消费者,其中一个已有一份本地来源 | 750 MB 跨机,800 MB 逻辑接收 |
| 两侧重分布 | Probe 10,000 MB,Build 50 MB,16 节点独立均匀映射 | 9421.875 MB 跨机 |
| 单侧重分布 | Probe 分布可复用,只有 Build 需要同键分发,仍按均匀假设 | 46.875 MB 跨机 |
这组假设下双侧移动量约为广播的 12.56 倍,广播可能仍输给单侧重分布。Build 为 2 GB 的情景应重新对两种策略建账。压缩传输的 50 MB 到达后,解码列、Hash 桶、重复键和保留缓冲会放大常驻内存;计算单实例和每节点同时 Build 的峰值。
确认计划实际采用哪条路径
检查统计是否来自过滤和投影之后,比较不同分布策略下的 EXPLAIN。资源阈值与成本上限是保护措施,不能由固定 20% 推出通用最优解。实验包的 Trino 探针固定同一 SQL,记录分布式执行计划及动态过滤开关,两次应产出相同结果。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。