《大规模分布式计算深入解析》10.2 缓存层:本地盘与分布式缓存

缓存不是加了就快,命中率决定一切。本节用命中 1ms、未命中 50ms、命中率 90% 算出平均读延迟 5.9ms,用热数据 12TB、缓存 10TB 推出 83.3% 的命中率上限,对比本地盘与分布式缓存的一致性与失效,并给出命中率阈值与容量配比的判断口径。

10.2 缓存层:本地盘与分布式缓存

10.1 说明对象存储的每次 GET 都要过网络,List 还很贵。存算分离之后,计算节点与数据之间隔了一条网络,最直接的补救是加缓存:把热数据放到离计算更近的地方。但缓存不是「加了就快」,它的收益完全由命中率决定,而命中率又被缓存容量与热数据规模的比例卡死。

本节先给出平均延迟公式,再算命中率上限,最后对比本地盘与分布式缓存的一致性与失效方式。

平均延迟由命中率决定

设命中时读 1ms(本地盘或内存),未命中时回源 50ms(对象存储 GET),命中率 90%。lab 用例 89 算的是加权平均:

平均延迟 = 命中率 × 命中延迟 + (1 - 命中率) × 未命中延迟
         = 0.9 × 1ms + 0.1 × 50ms
         = 0.9 + 5.0
         = 5.9ms
命中率命中 1ms未命中 50ms平均延迟相对直读 50ms
100%1ms—1ms快 50 倍(公式推导)
90%1ms50ms5.9ms快约 8.5 倍(公式推导)
80%1ms50ms10.8ms快约 4.6 倍(公式推导)
50%1ms50ms25.5ms快 2 倍(公式推导)
0%—50ms50ms无收益

平均延迟对命中率是敏感的:命中率从 90% 掉到 80%,看起来只差 10 个百分点,平均延迟却几乎翻倍,因为未命中的 50ms 在加权时被放大了。这也解释了为什么缓存调优里「提升最后几个百分点」往往比「扩大一倍容量」更有价值。

收益是非线性的:从 50ms 到 5.9ms

把加速比单独列出来,非线性更明显:

命中率平均延迟加速比每提升 10 个点的收益
50%25.5ms1.96 倍—
60%20.6ms2.43 倍约 0.47 倍(公式推导)
70%15.7ms3.18 倍约 0.75 倍(公式推导)
80%10.8ms4.63 倍约 1.45 倍(公式推导)
90%5.9ms8.47 倍约 3.84 倍(公式推导)

同样是提升 10 个百分点,从 80% 到 90% 的收益是 50% 到 60% 的八倍多。这条曲线决定了投入顺序:命中率已经在 80% 以上时,继续优化淘汰策略、预热关键分区很划算;命中率只有 50% 时,先减少要读的数据(分区裁剪、列裁剪),比调缓存更有效。

缓存容量决定命中率上限

命中率不是想调多高就多高。如果热数据有 12TB,缓存只有 10TB,那么再好的淘汰算法也不可能让命中率超过 10/12。lab 用例 90 就是这个上限:

double ceiling = Storage.cacheHitCeiling(12.0, 10.0); // 0.833333…
热数据缓存容量命中率上限说明
12TB2TB16.7%大部分请求仍回源(公式推导)
12TB6TB50.0%一半命中(公式推导)
12TB10TB83.3%用例 90
12TB12TB100%全量装入(公式推导)

83.3% 是上限,不是实际值:淘汰算法不完美、访问有偏、扫描型查询会污染缓存,实际命中率只会更低。按 83.3% 代入平均延迟公式,得到 0.833 × 1 + 0.167 × 50 ≈ 9.2ms(公式推导),比 90% 命中时的 5.9ms 又慢了一截。

所以容量规划的顺序是反的:先估热数据规模与可接受的平均延迟,再倒推需要的命中率,最后决定缓存要多大。先买缓存再指望命中率,通常会得到一台很贵但没什么用的机器。

上限不等于实际命中率

容量给出的只是天花板,实际命中率还要再打几折:

折损因素影响应对
淘汰算法近似LRU 近似实现会误淘汰用分段 LRU 或 SLRU
访问分布倾斜少数 key 占多数请求,长尾难命中按访问频次分层
扫描污染一次全表扫描冲掉热数据扫描走旁路,不进缓存
多副本各缓各的同一数据被多次回源分布式缓存或一致性哈希

扫描污染是最常见的隐性杀手:一条全表扫描把几 TB 冷数据灌进缓存,把原本命中率 90% 的热数据全挤出去,之后几小时的查询都在回源。解决办法不是加大缓存,而是让大扫描绕过缓存,或者用只读的旁路通道。

缓存不是「加了就快」

把命中率压到很低时,缓存的账会变得很难看:

命中率平均延迟相对直读结论
90%5.9ms快 8.5 倍值得
83.3%约 9.2ms快 5.4 倍值得,接近容量上限
20%40.2ms快 1.24 倍收益有限(公式推导)
5%47.6ms快 1.05 倍基本白加(公式推导)

未命中的请求不但要回源,还要额外付一次缓存查找、淘汰判断和可能的写入缓存。当命中率低到 5%,这些额外开销会把仅有的 5% 收益吃掉,缓存反而可能比直读更慢。判断要不要加缓存,先看热数据占比,而不是先看缓存软件的性能参数。

缓存放在哪一层

「加缓存」不是只有一个位置,从 CPU 到远端至少有四层:

层次位置延迟量级容量谁能控制
页缓存操作系统最低受内存限制操作系统
本地盘缓存计算节点 SSD低(本节的 1ms 模型)单机盘容量引擎自己
分布式缓存独立缓存集群高于本地,低于回源可横向扩展平台团队
对象存储远端本节的 50ms 模型近乎无限云厂商

越靠近计算的缓存越快、越小、越容易失效。页缓存和本地盘缓存随机器生灭,机器一换就没了;分布式缓存跨机器共享,但多一次网络往返。选择哪一层,取决于「同一份数据会被多少台机器重复读」。

本地盘缓存与分布式缓存

维度本地盘缓存分布式缓存
典型介质NVMe / SSD内存或 SSD 集群
命中延迟最低(毫秒以内)多一次网络往返
容量单机盘容量可扩展到 TB 级
命中率受单机数据分布影响全局共享,命中率更高
一致性各机器独立失效,易不一致可集中失效,但仍有窗口
故障影响单机缓存丢失,回源即可集群故障会放大回源
适用单机重复读多、数据可重建多机共享热数据

本地盘缓存的命中率天然偏低:同一份热数据,机器 A 缓存过,机器 B 还要再回源一次;调度把任务挪到另一台机器,缓存就白建了。分布式缓存解决这个问题,代价是多一次网络往返和一套需要运维的集群。

一致性与失效

缓存最危险的不是不命中,而是命中了一个旧值。对象存储现在是强一致的,但缓存层会把这个保证重新打破:

失效方式机制风险
TTL到期自动失效窗口内读到旧值
写穿写对象时同步更新缓存写路径变长,失败要回滚
写回先写缓存再异步刷缓存故障丢数据
版本化 keykey 带 etag 或版本号实现复杂,但不会读错

对象存储的强一致只保证「源端」。一旦中间加了缓存,读到的可能是缓存建立那一刻的快照。对不可变数据(一次写入、从不修改的分区文件)来说这不是问题;对有覆盖写或删除的数据,必须用 TTL 加版本号,或者干脆让缓存只服务不可变对象。

预热:别让第一次查询付全额

冷缓存下命中率为 0,第一批查询全部回源。预热把这一步提前:

策略做法收益代价
全量预热启动时把热分区全部拉入首批查询即命中启动慢、可能拉入冷数据
按分区预热只拉查询涉及的分区针对性强需要知道查询模式
按历史预热用上一周期的访问日志命中率高日志滞后、新模式失效
不预热靠自然访问升温零成本首批查询全回源

预热不是越多越好:把冷数据拉进容量有限的缓存,会挤掉真正的热数据,效果等同于扫描污染。预热的选择标准与淘汰标准应当一致——都按「未来一段时间会被读几次」排序。

缓存与下推的分工

缓存解决「读得远」,下推解决「读得多」,两者不能互相替代:

手段减少的是生效前提失效场景
缓存网络往返次数命中率高数据不可缓存、命中率低
下推传输的数据量存储层能执行谓词或聚合复杂表达式、跨表操作

先下推、再缓存是更稳的顺序:下推把 100 万行压成 100 行,缓存要装的数据随之变小,命中率上限自然提高。反过来先加缓存,缓存的仍是全量数据,容量很快见底。这条分工也是 10.3 的起点。

命中率按请求算还是按字节算

同一个缓存,两种口径会给出完全不同的数字:

口径定义适用偏差
按请求命中次数 ÷ 总请求数点查、元数据小对象多的负载偏高
按字节命中字节 ÷ 总字节大文件扫描大对象多的负载偏高

平均延迟公式里的命中率必须与延迟口径一致:如果你关心的是查询等待时间,就该用按请求的命中率;如果关心的是网络流量,才用按字节。两个数字混用,会算出对不上实测的 5.9ms。

判据:什么时候该加缓存

条件判断
热数据 ≤ 缓存容量命中率上限高,值得加
热数据远大于缓存先做分区裁剪与列裁剪
数据不可变、重复读多缓存收益最大
数据频繁覆盖写先解决失效,再谈缓存
单机重复读为主本地盘缓存足够
多机共享热数据分布式缓存更合适

判据可以写成三道门:第一,热数据能不能装进缓存;第二,命中率能不能过 80%;第三,数据是否可重建、可失效。三道都过才加缓存,任何一道不过,先把数据读少一点,比加缓存更有效。

三个常见误解

误解一:加了缓存,读延迟就会下降。 真相:收益由命中率决定,命中率 5% 时平均延迟 47.6ms,相对直读 50ms 只有 1.05 倍,额外开销还可能把它抵消。

误解二:缓存越大,命中率越高,扩容总是对的。 真相:命中率上限是缓存容量与热数据的比值,12TB 热数据配 10TB 缓存最多 83.3%,且实际值因淘汰与污染更低。

误解三:对象存储已经强一致,缓存也自然一致。 真相:缓存重新引入了旧值窗口,覆盖写与删除场景必须靠 TTL、版本化 key 或只缓存不可变对象来控制。

一句话总结本节

缓存收益由命中率决定:命中 1ms、未命中 50ms、命中率 90% 时平均读延迟 5.9ms;命中率上限是缓存容量与热数据的比值,12TB 热数据配 10TB 缓存最多 83.3%,对应约 9.2ms。命中率低于 80% 后收益迅速衰减,低于 5% 基本白加;本地盘缓存快但命中率受单机限制,分布式缓存命中率高但多一次网络往返,失效方式决定它会不会读到旧值。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证缓存命中率与容量上限:

  • 源码:src/storage/Storage.java 与 src/storage/StorageSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 89 验证「命中率 90%、命中 1ms、未命中 50ms 时平均读延迟 5.9ms」;用例 90 验证「热数据 12TB、缓存 10TB 时命中率上限 83.3%(10/12)」。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:存算分离后读延迟高 → 用命中率加权算平均延迟 → 90% 命中得 5.9ms,83.3% 上限得约 9.2ms → 先确认热数据能装进缓存且命中率过 80%,再在本地盘与分布式缓存之间按共享范围选择,并用 TTL 或版本号控制失效。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图