3.3 跨节点 pipeline 执行与 morsel 调度
把远端 Exchange、本地流水与算子阻塞分别定位,才能解释为什么有的 Fragment 可以重叠运行,有的要等一侧完成。
启动、推进和阻塞
flowchart LR
subgraph U["上游 Task"]
S["Split 枚举"] --> D["多个本地 Driver"]
D --> X["按目的路由数据页"]
end
subgraph V["下游 Task"]
B["Exchange 输入"] --> K{"算子可推进?"}
K -->|"已有所需 Build 分区"| J["Probe,继续往下游出页"]
K -->|"等待 Build 或排序输入"| W["暂挂,等待可用状态"]
W --> K
end
X -->|"流水:有页即可取"| B
X -->|"外部化:读取已发布分区"| B
Source 通过 Split 读取输入,节点内由多个 Driver 或线程推进 Pipeline;Morsel 是部分执行引擎更细的工作块。一个物理计划边可能分别涉及远端分布、本地队列和内存配额。使用流水 Shuffle 时,下游可在上游完成前读取页;持久化模式根据可见性协议消费已发布分区。对于 Hash Join,特定实现常先建立对应 Build 分区再 Probe;排序直到有足够输入确定输出顺序才开始出结果。Window 按其 ORDER BY 与函数语义决定排序或状态读取。
以 16 路已排序输入做平衡二路归并,层数为 4。对一亿行用每层最多近似扫描一遍的模型得到约 4 亿比较上限量级。堆归并、提前 LIMIT、分片已整体有序以及重复键都会改变实际比较量。定位跨节点流水收益应记录各 Stage 起止、阻塞原因、首批与最后一批时间。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。