2.1 分区与并行度
第 1 章说 RDD 有五个特征,「分区集合」排在第一位。这一节把分区讲具体:分区是怎么切的、分区数从哪来、分区多少算合适、数据怎么决定落在哪个分区。四个问题对应四个工程决策,调优时绕不开。
分区是并行的最小单位
Spark 的并行模型非常直接:一个分区 → 一个任务 → 一个执行线程。
RDD(100 分区) --action--> 100 个 Task
集群有 40 个执行槽位 → 第一波并发 40 个,其余排队
所以分区数同时决定了两件事:任务总数(调度开销)与单任务的数据量(每任务处理多少)。分区太少,任务少、并行度上不去;分区太多,每任务太小、调度与 GC 开销压过收益。分区的艺术,就是在两者之间找平衡点。
分区数从哪来
分区数不是一个全局参数,它由输入与变换共同决定:
| 来源 | 分区数 | 说明 |
|---|---|---|
| 读 HDFS 文件 | 文件分片数 | 与块大小相关(卷一 3.2) |
| 读 Parquet/ORC | 文件数 / 分片数 | 受 spark.sql.files.maxPartitionBytes 影响 |
parallelize | 用户指定 | 本地集合转 RDD |
repartition(n) | n | 强制重分区,会 shuffle |
coalesce(n) | n(通常减少) | 尽量不 shuffle,合并分区 |
| shuffle 后 | spark.default.parallelism 或父分区数 | reduceByKey/groupByKey 的输出分区 |
| join 后 | 取决于 join 策略 | broadcast join 保留大表分区数 |
最重要的两类是输入分区与shuffle 分区:前者决定第一个 Stage 的并行度,后者决定 Stage 之间的数据分布。两者的调法不同——输入分区靠文件布局与 maxPartitionBytes,shuffle 分区靠 default.parallelism 或显式 repartition。
分区数怎么算
lab 的 RddCore.partition(total, parts) 复现了最基础的切分:100 条记录 4 个分区,每区 25 条;10 条 3 个分区,得到 [4, 3, 3]——余数分给前面的分区(用例 1-2)。真实引擎的切分也是这个逻辑,只是单位从「记录数」变成「字节数」。
RddCore.parallelism(totalRecords, recordsPerPartition) 则从另一头算:1000 条记录、每分区目标 100 条 → 10 个分区(用例 3);101 条 → 2 个分区,因为不足一个分区也占一个(用例 4)。分区数是除法向上取整,不是精确除法——最后那个不满的分区同样要一个任务去跑。
并行度 = min(分区数, 槽位)
分区数决定「有多少活」,槽位决定「同时能干多少」。真实并发是两者取小:
lab 的 RddCore.tasks(partitions, slots) 验证:100 个分区、8 个槽位 → 实际并发 8(用例 12)。这意味着分区数超过槽位数太多时,多出来的分区只是在排队:
| 分区数 | 槽位 | 并发 | 效果 |
|---|---|---|---|
| 100 | 8 | 8 | 12.5 波,每波 8 个任务 |
| 8 | 8 | 8 | 1 波完成 |
| 4 | 8 | 4 | 8 个槽位只用 4 个,浪费一半 |
第一行与第二行的总工作量相同,但第一行的任务更小、调度更频繁、每任务开销占比更高。这就是「分区数不宜远超槽位」的原因——并行度不是越大越好,匹配才是好。
分区太多与太少的代价
两个极端都有明确的代价:
| 极端 | 症状 | 代价 |
|---|---|---|
| 分区太多 | 任务数成千上万,每任务几十毫秒 | 调度开销、任务启动、GC、小文件 |
| 分区太少 | 每任务处理 GB 级数据 | 并行度不足、单任务 OOM、倾斜放大 |
| 分区不均 | 少数分区特别大 | 长尾任务拖慢整个 Stage(第 12 章) |
经验值是每个分区 100-200MB(受 maxPartitionBytes 影响),目标是「每任务处理时间在秒级、且能放进执行内存」。分区数还要考虑集群规模:分区数至少是「总核数」的 2-3 倍,才能让任务均衡地摊到所有核上。
repartition 与 coalesce:一个 shuffle,一个不 shuffle
两个调整分区数的算子,语义完全不同:
| 算子 | 是否 shuffle | 用途 |
|---|---|---|
repartition(n) | 是 | 增减分区,重新分布数据 |
coalesce(n) | 默认否(只减) | 合并分区,减少任务数 |
repartition(n, col) | 是 | 按列哈希/范围重分区 |
coalesce 只做「合并」:把相邻分区并成一个,不移动数据,所以不能增加分区数。repartition 做「重分布」:可以增可以减,但要走 shuffle,代价高。减分区优先用 coalesce(省钱),必要时才用 repartition(重分布)——这是实践里最常见的性能修正之一。
一个分区调优的算例
把上面的原则落成一个具体算例。集群 20 台机器、每台 8 核,总槽位 160;输入数据 320GB,目标是每分区 128MB:
理想分区数 = 320GB / 128MB = 2560
分区数 / 槽位 = 2560 / 160 = 16 波
每波 160 个任务并行,单任务处理约 128MB
如果把分区数设成 160,那么每分区 2GB,单任务处理时间会很长,且更容易 OOM;如果设成 25600,每分区 12.8MB,任务数过多,调度与小文件开销上升。「数据量 / 目标分区大小」是最可靠的第一估算,再按集群规模微调。
还要加一条约束:分区数应是槽位的整数倍附近,避免最后一波只有少数任务在跑(长尾)。2560 / 160 = 16 正好整除,这是理想情况;实际中允许 ±20% 的偏差。
分区数与 Stage 的关系
分区数在 Stage 之间会「换挡」,这一点常被忽略:
| 位置 | 分区数由什么决定 |
|---|---|
| 第一个 Stage 的输入 | 文件分片数 / maxPartitionBytes |
| 窄依赖变换 | 继承父 RDD 的分区数 |
| shuffle 的 map 侧 | 父 Stage 的分区数 |
| shuffle 的 reduce 侧 | default.parallelism 或显式指定 |
| broadcast join 之后 | 保留大表的分区数 |
所以「调分区」往往不是调一个全局参数,而是在关键位置调:输入侧调 maxPartitionBytes,shuffle 侧调 default.parallelism,必要时在中间显式 repartition。分区数是一条会换挡的链,不是单一旋钮。
分区器:数据落在哪个分区
键值型 RDD 有一个可选的分区器,决定「同一个 key 去哪」:
| 分区器 | 规则 | 适用 |
|---|---|---|
| HashPartitioner | hash(key) % n | 通用,等值聚合 |
| RangePartitioner | 按 key 范围切 | 需要有序、范围查询 |
| 自定义 | 用户实现 | 特殊分布(如热点打散) |
lab 的 ShuffleEngine.partitionOf(3, 2) 返回 1、partitionOf(4, 2) 返回 0(用例 1-2),partitionsOf([1,2,3,4], 2) 得到 [1,0,1,0](用例 3)——这就是哈希分区的最小模型。分区器决定 shuffle 后数据落在哪,也决定后续操作能否避免 shuffle:两个 RDD 用同一个分区器分区,join 就可以不 shuffle(协同分区)。
分区的两个隐藏成本
分区还有两个容易被忽略的成本:
| 成本 | 原因 | 缓解 |
|---|---|---|
| 每个分区一份文件 | shuffle 写文件数 = map × reduce(第 4 章) | 减少分区数或合并文件 |
| 每个分区的调度与序列化 | 任务元数据、闭包序列化 | 控制任务数、用广播变量 |
第一个成本在小分区场景下会爆炸:200 个 map 分区 × 200 个 reduce 分区 = 4 万个 shuffle 文件。第 4 章的 ShuffleEngine.writeFiles 会再验证这一点。分区数是「并行度」与「元数据量」的折中,不是单一维度的调优。
分区数与任务重试
分区数与容错也有关联:一个任务失败只重试它对应的那一个分区,所以分区越小,单次重试越便宜;但分区越多,任务失败的概率与总重试次数也越高。这是一种「单次成本 × 次数」的权衡:
| 分区大小 | 单次重试成本 | 故障暴露面 |
|---|---|---|
| 大分区(GB 级) | 高 | 小(任务少) |
| 小分区(几十 MB) | 低 | 大(任务多) |
经验上,把每分区控制在「单任务 1-5 分钟」的量级,是重试成本与调度开销的平衡点。太小会让重试次数淹没收益,太大则一次失败就损失几分钟甚至更久。
三个常见误解
误解一:分区越多并行度越高。 真相:并行度上限是槽位数,分区超过槽位后只增加排队与调度开销。分区数应匹配集群规模与单分区目标大小。
误解二:repartition 总是比 coalesce 好。 真相:repartition 要 shuffle,coalesce 在减少分区时不 shuffle。只减分区时 coalesce 明显更省。
误解三:分区数可以随便设,反正引擎会调。 真相:Spark 不会自动把分区调到最优(自适应查询执行 AQE 只在部分场景合并小分区),大部分时候要用户显式指定。
一句话总结本节
分区是 Spark 并行的最小单位,分区数决定任务总数与单任务数据量;它来自文件分片、shuffle 分区参数或 repartition/coalesce,真实并发是 min(分区数, 槽位数);分区太多付调度与小文件成本、太少浪费并行、不均则长尾拖慢 Stage。减分区优先 coalesce(不 shuffle),重分布才用 repartition;键值 RDD 的分区器决定 shuffle 后数据落在哪,同名分区器还能让后续 join 免 shuffle。
本章实现对照
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现分区与并行度:
- 源码:
src/rdd/RddCore.java(partition / parallelism / tasks)、src/shuffle/ShuffleEngine.java(partitionOf / partitionsOf)与RddSuite、ShuffleSuite。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
RddSuite用例 1-4 验证分区切分与向上取整;用例 12 验证并发受槽位限制;ShuffleSuite用例 1-3 验证哈希分区函数与分区结果。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:分区 → 任务 → 并发受槽位限制;分区数来自输入与 shuffle,分区器决定数据落点——lab 的切分、并行度、分区函数三组用例就是这条链。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。