3.1 作业、阶段与任务划分
SparkContext 向 DAGScheduler 提交一组目标分区的计算请求,生成 Job。典型的 RDD collect 为一次提交,take 可分批探测分区并提交多次。DAGScheduler 从结果 RDD 回溯依赖,沿窄依赖继续遍历,遇到 ShuffleDependency 时为该 shuffle 获取或创建 ShuffleMapStage。结果侧由 ResultStage 接收下游需要的分区。
从依赖图到待执行的任务
| 层级 | 调度器关注的边界 |
|---|---|
| Job | 启动一次调度请求,携带目标分区。不同 Job 可读取同一 shuffle 的 map outputs |
| Stage | ResultStage 消费父阶段产物。ShuffleMapStage 以 shuffle ID 建立复用关系 |
| Task | 某个分区在本次 Stage 尝试中的任务。选择缺失的输入产物或尚未完成的结果分区 |
| Task attempt | 一次实际执行,失败、推测或阶段再次提交会带来新的尝试 |
例子:RDD S 由一次重分区形成。左右两个窄分支读 S,再由结果 RDD 合并。回溯两条分支均可发现同一个 shuffle ID,只建立一个对应的 ShuffleMapStage。若 shuffle outputs 已可用,结果阶段可直接消费,Spark UI 中可能显示跳过;旧 Job 结束后 Stage 对象可能被清理,后续 Job 可用新 Stage ID 复用输出。若执行器丢失且部分输出不可用,只补相应产物。启用针对 shuffle 数据保留的机制也会影响输出是否仍可读取。
用分区算例比对 UI
设 ShuffleMapStage 有 8 个 map 输出,ResultStage 请求 2 个结果分区。首次执行可提交 8 个 map tasks 与 2 个 result tasks。再次使用同一 shuffle 时,可直接提交对应结果任务。一次 fetch failure 可能触发阶段重试,诊断时需同时看 Stage ID、Stage attempt、分区标识和 Task attempt。Stage ID 的缺号本身无法判定有失败。
教学 Lab 的 DagPlanner 输入只有一条变换链。每个标为宽依赖的位置代表不同的 shuffle 边界,全量请求时可用“宽依赖数加一”估算阶段数。“窄依赖”也允许输入与输出分区数不同,例如合并分区。真实 Spark 的划分与提交分别受依赖图和可用产物约束。
来源:DAGScheduler 、RDD.take 。
Spark 阶段依赖与分工示意
箭头表示数据依赖。两条下游分支可以引用同一份 shuffle 输出,Stage 依赖图保留共享顶点。
flowchart LR
subgraph Driver
J[提交 Job 和请求的分区] --> S[DAGScheduler]
S --> T[TaskScheduler]
end
subgraph Execution[Executor 上的任务与产物]
A[ShuffleMapStage 的任务] --> M[(按 shuffle ID 与分区定位的输出)]
M --> B[下游分支 B]
M --> C[下游分支 C]
B --> R[目标 ResultStage]
C --> R
end
T --> A
T --> R
M -. 输出不可用 .-> S
图中的 Shuffle 输出可跨 Job 复用;后续 Stage 对象重新创建时会分配新的 Stage ID。统计复用应看 shuffle 产物和实际提交记录。
三个常见误解
- “一条 action 必有一个 Job”。部分 action 自身会多次请求调度。
- “每条回溯边都新建 Stage”。共享的 shuffle ID 可对应同一个 Stage。
- “任务次数等于 Stage 分区总数”。部分结果请求、输出复用和重试都会改变实际执行次数。
一句话总结本节
沿 RDD 依赖找唯一的 shuffle 产物边界,再按目标分区与可用输出挑出本次需要运行的任务。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现划分规则:
- 源码:
src/dag/DagPlanner.java(countStages / stageOf / groups / tasksInStage / pipelineLength)与src/dag/DagSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
DagSuite用例 1-3 验证「线性变换链的阶段数 = 宽依赖数 + 1」;用例 4 验证操作阶段号;用例 5-7 验证分组;用例 8 验证流水线长度;用例 9 验证「任务数 = 分区数」。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:Job → 按宽依赖切 Stage → 按分区出 Task;划分从后往前,宽依赖是切点——lab 的阶段计数、分组、任务数就是这条链的逐段验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。