2.3 持久化级别与检查点
第 1 章反复说「中间结果留内存」,但「留」有两种完全不同的方式:缓存(cache/persist)与检查点(checkpoint)。两者都让数据「存起来」,但一个保留血缘、一个截断血缘,适用场景完全不同。这一节把这两个机制拆开,再讲清楚持久化级别的取舍。
缓存与检查点:先看差别
| 维度 | cache / persist | checkpoint |
|---|---|---|
| 存储位置 | 内存、磁盘(由级别决定) | 可靠存储(HDFS 等) |
| 血缘 | 保留 | 截断 |
| 数据丢失后 | 沿血缘重算 | 从检查点直接读回 |
| 写成本 | 低(可选不落盘) | 高(必须落盘) |
| 主要用途 | 加速复用 | 兜底恢复 |
一句话:缓存解决「快」,检查点解决「稳」。缓存丢了还能重算(血缘在),检查点丢了就真丢了(血缘已被截断)——但检查点存在可靠存储上,本来就不容易丢。
持久化级别
persist 接受一个存储级别,核心是「放哪、是否序列化、是否复制」:
| 级别 | 存储 | 序列化 | 复制 | 特点 |
|---|---|---|---|---|
| MEMORY_ONLY | 内存 | 否 | 否 | 最快,内存不够的分区不缓存 |
| MEMORY_ONLY_SER | 内存 | 是 | 否 | 省内存(约一半),读时反序列化 |
| MEMORY_AND_DISK | 内存优先 | 否 | 否 | 内存放不下溢到磁盘 |
| MEMORY_AND_DISK_SER | 内存优先 | 是 | 否 | 更省内存 + 磁盘兜底 |
| DISK_ONLY | 磁盘 | 是 | 否 | 省内存,慢 |
| *_2 | 以上任一 | — | 是 | 副本,抗节点故障 |
lab 的 RddCore.memoryFootprint(1000, MEMORY_ONLY) 返回 1000、MEMORY_ONLY_SER 返回 500、DISK_ONLY 返回 0(用例 9-11)——这三个数字把「级别 = 占用内存多少」说清楚了。序列化级别用 CPU(反序列化)换内存(对象头开销消失),磁盘级别用 IO 换内存。
什么时候该缓存
缓存不是免费的,它的判据只有一条:这份数据会被复用吗、复用几次。
| 场景 | 缓存 | 理由 |
|---|---|---|
| 迭代算法(每轮读同一份) | 是 | 复用次数 = 迭代轮数 |
| 多作业共享中间结果 | 是 | 避免重复计算 |
| 交互式查询的底表 | 是 | 同一份数据反复扫 |
| 一次性 ETL 的中间结果 | 否 | 只用一次,缓存纯浪费 |
| 数据量远大于内存 | 谨慎 | 命中率低,反而挤占执行内存 |
最后一行是实践里的坑:缓存全部数据但内存装不下,等于没缓存,还会让执行内存不足、频繁 spill。正确做法是只缓存「被反复读且能装进内存」的部分,或者用序列化级别压缩占用。
缓存的语义细节:惰性
cache() 本身不计算,它只是给 RDD 打一个「可缓存」的标记;真正的物化发生在第一次行动时。
rdd.cache() // 只打标记,不做任何计算
rdd.count() // 第一次行动:算出来并缓存
rdd.count() // 第二次行动:直接从缓存读,不重算
这个语义带来一个常见困惑:如果缓存后没有触发行动,缓存目录里什么也没有。缓存的成本在第一次行动时支付,收益从第二次行动开始——所以「只调用一次行动」的作业,缓存没有意义。
检查点:把血缘剪断
检查点的流程分两步:
1. 标记:rdd.checkpoint()
2. 触发:下一次行动时,把 rdd 物化到可靠存储
3. 截断:rdd 的血缘被替换为「从检查点读取」
之后这个 RDD 的分区丢失时,引擎不再回溯血缘,而是直接从检查点文件读回。lab 的 Lineage.effectiveDepth(5, true) 返回 1(血缘深度从 5 截断到 1),recoverFromCheckpoint(4, true) 返回 0(用例 17、20)——检查点把「重算成本 = 链长」变成「重算成本 = 0」。
代价是写盘:检查点必须把数据写到可靠存储,这是一次真实的 IO。所以检查点适合「血缘长、重算贵、作业运行久」的场景;短作业用检查点反而增加开销。
缓存 vs 检查点的组合
两者不是二选一,常见做法是组合使用:
| 组合 | 效果 |
|---|---|
| 只缓存 | 快,但缓存丢了要按长血缘重算 |
| 只检查点 | 稳,但每次读检查点都要走磁盘 |
| 缓存 + 检查点 | 热读走缓存、缓存丢了从检查点恢复 |
lab 的 Lineage.recomputeCount(cached, lost) 与 recoverFromCheckpoint 合起来就是这个组合的模型:缓存覆盖的部分零重算(用例 15-16),检查点覆盖的部分也从 0 算起(用例 20)。缓存是加速层,检查点是可靠层,两者各管一段。
存储级别的选择流程
面对一个 RDD,选级别可以按三步走:
第一步:会不会复用?
否 → 不缓存
是 → 进入第二步
第二步:数据能装进内存吗?
能 → MEMORY_ONLY(或 MEMORY_ONLY_SER)
不能 → MEMORY_AND_DISK(或 _SER)
第三步:能接受节点故障丢缓存吗?
能 → 不加副本
不能 → 加 _2 副本,或用 checkpoint
这个流程的关键在第一步:大多数「性能问题」不是级别选错,而是根本不该缓存。先判断复用性,再谈级别,顺序反了会陷入「调级别」的细节而忽略大头。
检查点的目录与作业重提交
检查点数据写在什么位置,决定了「作业重跑时能否复用」:
| 配置 | 数据位置 | 重跑时 |
|---|---|---|
| 默认 | 每个作业一个临时目录 | 作业结束后可能被清理,无法复用 |
| 显式指定可靠路径 | 用户给定的 HDFS 目录 | 可复用,支持作业级恢复 |
如果检查点写在临时目录,作业失败后重启会生成一个新的检查点,之前的白写;写在显式路径下,重启的作业可以读回上次的检查点,跳过之前的计算。检查点的价值不只在于「运行中恢复」,还在于「跨作业重启」——长作业(小时级甚至天级)尤其要显式指定检查点路径。
局部检查点:一个折中
Spark 还有一个 localCheckpoint:把数据物化到 Executor 的本地磁盘,并截断血缘,但不写到可靠存储。
| 特性 | checkpoint | localCheckpoint |
|---|---|---|
| 存储 | 可靠存储(HDFS) | Executor 本地盘 |
| 血缘 | 截断 | 截断 |
| Executor 丢失 | 数据仍在,可恢复 | 数据丢失,无法恢复 |
| 成本 | 高(网络 + 可靠写) | 低(本地写) |
localCheckpoint 适合「血缘截断能省大量重算、且能接受 Executor 丢失后作业失败」的场景。它牺牲了可靠性换成本,是一个明确的工程折中——用之前要清楚:它截断血缘但不保证数据可靠。
持久化的内存账
缓存与执行共享同一块内存(第 5 章的统一内存模型),所以缓存不是「想存就存」:
| 缓存占用 | 对执行的影响 |
|---|---|
| 缓存少 | 执行内存充足,shuffle/spill 少 |
| 缓存多 | 执行内存被挤,spill 增多 |
| 缓存超内存 | 命中率下降,等于没缓存 |
所以「缓存多少」是一个分配问题,不是「越多越好」。第 5 章会讲统一内存如何让存储区与执行区动态借用——本质就是让这个分配「按需」而不是「写死」。
三个常见误解
误解一:cache 之后数据一定在内存。 真相:内存不够时,MEMORY_ONLY 的分区可能根本没被缓存(或部分被逐出);要保证落盘得用 MEMORY_AND_DISK。
误解二:checkpoint 之后就不再需要血缘。 真相:checkpoint 截断的是「该 RDD 及之前的血缘」,之后的变换仍有自己的血缘。检查点只影响它之前的部分。
误解三:缓存和检查点可以互相替代。 真相:缓存不保证可靠、检查点不保证快。前者是加速层,后者是可靠层,职责不同。
一句话总结本节
缓存保留血缘、检查点截断血缘:前者用内存/磁盘加速复用(丢了能重算),后者用可靠存储兜底恢复(丢了不能重算但本来不容易丢)。存储级别在内存、序列化、磁盘、副本之间取舍——序列化用 CPU 换内存、磁盘用 IO 换内存;缓存判据是「会被复用几次」,检查点判据是「血缘是否长到重算不可接受」。缓存加速、检查点兜底,长血缘迭代作业两者都要。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现持久化与检查点:
- 源码:
src/rdd/RddCore.java(memoryFootprint / Level)、src/rdd/Lineage.java(effectiveDepth / recomputeCount / recoverFromCheckpoint)与RddSuite。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
RddSuite用例 9-11 验证三种级别的内存足迹;用例 15-18 验证「只重算丢失且未缓存的分区」与「检查点截断血缘」;用例 20 验证检查点恢复零重算。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:缓存保留血缘、检查点截断血缘 → 级别决定放哪与占用 → 判据是复用次数与血缘长度——lab 的足迹与重算用例就是这条链的量化版本。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。