《大规模分布式计算深入解析》3.1 作业、阶段与任务划分

拆解 Spark 3.5.7 的 ResultStage、ShuffleMapStage、共享 Shuffle 和请求分区,给出线性 Lab 与真实 DAG 的边界。

3.1 作业、阶段与任务划分

SparkContext 向 DAGScheduler 提交一组目标分区的计算请求,生成 Job。典型的 RDD collect 为一次提交,take 可分批探测分区并提交多次。DAGScheduler 从结果 RDD 回溯依赖,沿窄依赖继续遍历,遇到 ShuffleDependency 时为该 shuffle 获取或创建 ShuffleMapStage。结果侧由 ResultStage 接收下游需要的分区。

从依赖图到待执行的任务

层级调度器关注的边界
Job启动一次调度请求,携带目标分区。不同 Job 可读取同一 shuffle 的 map outputs
StageResultStage 消费父阶段产物。ShuffleMapStage 以 shuffle ID 建立复用关系
Task某个分区在本次 Stage 尝试中的任务。选择缺失的输入产物或尚未完成的结果分区
Task attempt一次实际执行,失败、推测或阶段再次提交会带来新的尝试

例子:RDD S 由一次重分区形成。左右两个窄分支读 S,再由结果 RDD 合并。回溯两条分支均可发现同一个 shuffle ID,只建立一个对应的 ShuffleMapStage。若 shuffle outputs 已可用,结果阶段可直接消费,Spark UI 中可能显示跳过;旧 Job 结束后 Stage 对象可能被清理,后续 Job 可用新 Stage ID 复用输出。若执行器丢失且部分输出不可用,只补相应产物。启用针对 shuffle 数据保留的机制也会影响输出是否仍可读取。

用分区算例比对 UI

设 ShuffleMapStage 有 8 个 map 输出,ResultStage 请求 2 个结果分区。首次执行可提交 8 个 map tasks 与 2 个 result tasks。再次使用同一 shuffle 时,可直接提交对应结果任务。一次 fetch failure 可能触发阶段重试,诊断时需同时看 Stage ID、Stage attempt、分区标识和 Task attempt。Stage ID 的缺号本身无法判定有失败。

教学 Lab 的 DagPlanner 输入只有一条变换链。每个标为宽依赖的位置代表不同的 shuffle 边界,全量请求时可用“宽依赖数加一”估算阶段数。“窄依赖”也允许输入与输出分区数不同,例如合并分区。真实 Spark 的划分与提交分别受依赖图和可用产物约束。

来源:DAGScheduler 、RDD.take 。

Spark 阶段依赖与分工示意

箭头表示数据依赖。两条下游分支可以引用同一份 shuffle 输出,Stage 依赖图保留共享顶点。

flowchart LR
    subgraph Driver
        J[提交 Job 和请求的分区] --> S[DAGScheduler]
        S --> T[TaskScheduler]
    end
    subgraph Execution[Executor 上的任务与产物]
        A[ShuffleMapStage 的任务] --> M[(按 shuffle ID 与分区定位的输出)]
        M --> B[下游分支 B]
        M --> C[下游分支 C]
        B --> R[目标 ResultStage]
        C --> R
    end
    T --> A
    T --> R
    M -. 输出不可用 .-> S

图中的 Shuffle 输出可跨 Job 复用;后续 Stage 对象重新创建时会分配新的 Stage ID。统计复用应看 shuffle 产物和实际提交记录。

三个常见误解

  • “一条 action 必有一个 Job”。部分 action 自身会多次请求调度。
  • “每条回溯边都新建 Stage”。共享的 shuffle ID 可对应同一个 Stage。
  • “任务次数等于 Stage 分区总数”。部分结果请求、输出复用和重试都会改变实际执行次数。

一句话总结本节

沿 RDD 依赖找唯一的 shuffle 产物边界,再按目标分区与可用输出挑出本次需要运行的任务。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现划分规则:

  • 源码:src/dag/DagPlanner.java(countStages / stageOf / groups / tasksInStage / pipelineLength)与 src/dag/DagSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:DagSuite 用例 1-3 验证「线性变换链的阶段数 = 宽依赖数 + 1」;用例 4 验证操作阶段号;用例 5-7 验证分组;用例 8 验证流水线长度;用例 9 验证「任务数 = 分区数」。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:Job → 按宽依赖切 Stage → 按分区出 Task;划分从后往前,宽依赖是切点——lab 的阶段计数、分组、任务数就是这条链的逐段验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图