《Kubernetes 分布式系统原理深入解析》9.2 跨区域容灾与 RTO/RPO

容灾计划用两个数字说话:RPO 是数据丢失窗口、RTO 是恢复时间。备份间隔决定 RPO 上限,从未成功备份则 RPO 不可估计;计划是否达标要看实际 RTO/RPO 是否同时压进目标。本节剖析 DRPlan 的测量与达标判定,lab 用 backup 包的 DRPlan 验证 RPO 窗口、无备份不可估计与目标达标三个语义。

9.2 跨区域容灾与 RTO/RPO

9.1 节回答了「快照怎么做才是对的」。但对容灾而言,「对的快照」只是半句话——另一半是数字:数据最多丢多少、系统多久能回来。这两个数字就是 RPO 与 RTO。它们把「容灾做得好不好」从形容词变成可测量、可判定达标的目标。

两个数字的定义

先钉死定义,这节所有讨论都从定义出发:

指标全称含义单位
RPORecovery Point Objective可容忍的数据丢失窗口:恢复到多近的时间点时间
RTORecovery Time Objective可容忍的恢复时间:从故障到服务恢复时间

注意 RPO 是「时间单位」,不是「数据量」——它表述的是「允许恢复到多久以前的备份点」。一个 RPO=1h 的系统,意味着故障时刻最多可以丢失最近 1 小时的写;RTO=30min 意味着故障后最多 30 分钟要恢复服务。RPO 衡量丢多少,RTO 衡量等多长——两个维度正交,容灾计划必须同时给出。

备份间隔决定 RPO 上限

RPO 的直接上限是备份间隔:两次成功备份之间的时间越长,故障时刻距最近备份点越远,数据丢失窗口越大。lab 里:

func (p *DRPlan) RPO(now int64) int64 {
    if !p.HasBackup { return -1 }
    return now - p.LastSuccess
}

RPO = now - LastSuccess,而 LastSuccess 最远也不会早于「上一次成功备份」。所以:

备份间隔RPO 理论上限故障发生在备份后 1 分钟时
每小时≤ 1 小时1 分钟
每 15 分钟≤ 15 分钟1 分钟
每天≤ 24 小时1 分钟

RPO 是动态的:故障恰好发生在备份刚完成之后,丢失窗口只有 1 分钟;恰好发生在下一次备份即将开始时,丢失窗口逼近一个完整间隔。所以「RPO ≤ 备份间隔」是硬上限,真实 RPO 在 0 到间隔之间浮动。设定 RPO 目标前,先问备份间隔能不能兜住它——目标 RPO=15min 而备份每小时一次,在数字上就是不可能达标的。

无成功备份:RPO 不可估计

RPO 公式里 HasBackup 为 false 时返回 -1——这是「正无穷」的编码:从未成功备份过,数据丢失窗口无法估计,等于整个数据集都可能丢。这个边界经常被忽略:

状态RPO语义
至少一次成功备份now - LastSuccess有界,最多丢一个间隔
从未成功备份-1(不可估计)无界,可能全丢

-1 不是「RPO 很差但还有个数字」,而是「没有数字」——计划里没有成功备份,任何 RPO 目标都无法用测量支撑。这也是容灾体系的第一条门槛:先有一次成功的备份,RPO 才有意义。很多系统「备份配置了但从没成功过」,它们的 RPO 就是不可估计的 -1,直到第一次成功备份才变成有界数字。

RTO:恢复时间从哪来

RTO 在 lab 里就是 RestoreTime——恢复一次备份所需的时间。它比 RPO 更依赖实测,因为「恢复」是一条复杂链路:

恢复链路环节消耗的时间来源
发现故障、启动流程告警到人工/自动决策
恢复基础设施创建集群、拉起依赖(9.3 的 etcd 就在这一步)
恢复数据从快照/备份还原卷(9.1 的一致性组)
应用启动自检数据库回放日志、建索引、预热

RTO 目标必须按这条链路的总和设定,而不是只测「还原卷耗时」。链上任一环节慢,RTO 就超。这也是 lab 把 RTO 简化成一个数的原因——它表达的是「整条链路的目标恢复时间」,测量的方式留给恢复演练(9.2 结尾)。

达标判定:两个指标同时压进目标

Achieves 是容灾计划的判定函数:

func (p *DRPlan) Achieves(targetRTO, targetRPO, now int64) bool {
    return p.RTO() <= targetRTO && p.RPO(now) <= targetRPO
}

它要求实际 RTO 与 RPO 同时压进目标,缺一即不达标:

场景实际 RTO实际 RPO判定
恢复快、丢得少300s1800sRTO 300 ≤ 目标 300,RPO 1800 ≤ 目标 1800:达标
恢复不够快300s1800s目标 RTO 120:不达标(300 > 120)
丢得太多300s1800s目标 RPO 600:不达标(1800 > 600)

RPO 达标只与备份间隔和成功时间有关,RTO 达标只与恢复链路耗时有关——两个指标由两条独立链路决定,所以判定必须同时成立。调整一个指标达不了标,就按表里对应的那条链路去改:RPO 不够就缩备份间隔,RTO 不够就优化恢复链路。

目标 vs 实际:RPO/RTO 的两个口径

容灾文档里要区分「目标」与「实际」,它们是两套数字:

口径来源谁承诺
RPO/RTO 目标业务要求(SLA)业务方定目标
实际 RPO/RTO备份时间戳与恢复演练测量运维方提供证据

目标来自「业务能承受丢多少、等多长」,实际来自「配置与演练测得」。达标判定就是「实际 ≤ 目标」。很多容灾事故的根因不是没有目标,而是从未测量过实际——以为每小时备份就等于 RPO 1 小时,却没发现最近 3 次备份全失败了(实际 RPO 已变成不可估计的 -1)。所以「测量实际」本身也是容灾计划的一部分,不只是配置备份。

一份合格的容灾文档,两套数字必须同时列出来:目标列写业务要求,实际列写最近的测量证据——备份时间戳算 RPO、演练记录算 RTO。两列对齐的地方才是「达标」;对不齐的那一行,就是容灾计划下一步要修的缺口。

恢复演练:RTO 的唯一来源

RTO 的目标可以写在文档里,但实际 RTO 只能从演练里测出来。配置里读不到它——恢复链路每一环都可能和你预想的不一样:

演练中常见发现为什么演练才暴露
备份目标账号权限被收回日常只写不读,恢复时才读
依赖(DNS、存储类)未就绪演练才按恢复顺序拉起全套
增量快照链断裂恢复时才需要链上所有环节
RPO 目标与备份间隔不匹配演练才计算「从上次成功备份到故障」的真实窗口

演练的频率与深度决定 RTO 数字的可信度:季度演练 + 完整链路(真实还原数据、真实启动应用)测出的 RTO,才值得写进容灾文档。只做过「还原一块卷」的局部测试,测出的只是链路一段,不是 RTO。这也是 9.1 恢复演练条目与本节 RTO 测量的接缝:快照体系验证「数据可还原」,容灾演练验证「还原要多长时间」。

跨区域容灾:区域拓扑对两个指标的影响

跨区域容灾里,区域间的距离同时作用于 RPO 与 RTO:

容灾形态RPO 来源RTO 来源
周期性备份异地存储备份间隔 + 传输延迟从异地存储拉回 + 重建
异步复制到异地复制 lag(秒到分钟级)仍要切换 + 拉起
同步复制双活近 0(无丢失)仍要切换流量 + 数据一致性校验

区域距离主要卡在传输与同步:异地备份意味着快照要先传到异地(9.1 的一致性组快照链要整体传),异步复制意味着 lag 本身就是 RPO。越往「丢得少」的方向走(同步复制),对网络的要求越高、成本越大——RPO 是逐步逼近 0 的连续光谱,不是「备份或没备份」的二值。选哪个档位,取决于业务愿意为「少丢一点」付多少。

一个达标判定的完整例子

把本节的数字串成一个完整例子,假设某跨境业务的容灾目标是 RTO=300s、RPO=1800s:

  1. 备份策略:每 30 分钟做一次一致性组快照(9.1),传给异地。BackupInterval=1800。
  2. 当前时刻 now=1800,距上次成功备份 LastSuccess=0,实际 RPO=1800 ≤ 目标 1800——RPO 达标。
  3. 恢复演练测得还原卷 + 重建 + 应用启动共 RestoreTime=300s,实际 RTO=300 ≤ 目标 300——RTO 达标。
  4. Achieves(300, 1800, 1800) 返回 true:计划达标。
  5. 把目标改严再复测:若业务把 RPO 目标压到 600s,同样的备份策略(实际 RPO 仍是 1800s)立即不达标——目标由业务承受力定,调整目标后必须重新复测,而不是沿用旧结论。

再把一个变量改坏:备份策略配置没问题,但最近几轮备份都失败了。HasBackup 仍然为 true(曾经成功过),可 LastSuccess 停在很久以前,now - LastSuccess 持续增大,迟早顶破 1800。这就是 TestRPOWindow 那条曲线的工程含义——RPO 不达标往往不是目标错了,而是最近一次成功备份离得太远了。监控 LastSuccess 的新鲜度比背公式更有用:实际 RPO 是「现在距上次成功备份」的函数,任何让备份失败的环节都会让这个值无声放大。

三个常见误解

  • 「RPO=1 小时是因为备份间隔是 1 小时」——错误。备份间隔只是 RPO 的上限,实际 RPO 在 0 到间隔之间;更重要的是最近备份必须成功,失败备份会让实际 RPO 瞬间变成不可估计。
  • 「RTO 就是恢复数据的时间」——错误。RTO 是整条恢复链路的耗时总和:发现、拉起基础设施、还原数据、应用自检都在里面,只测还原卷会严重低估 RTO。
  • 「RPO 目标达成了,容灾就达标了」——错误。Achieves 要求 RTO 与 RPO 同时达标;恢复慢同样不达标,两个指标由两条独立链路决定。

一句话总结本节

RTO/RPO 把容灾变成两个可测量的数字:RPO=数据丢失窗口(备份间隔定上限,从未成功备份则不可估计),RTO=恢复时间(整条恢复链路的总和),达标要求两者同时压进目标;目标的松紧由业务承受力定,实际值必须靠备份时间戳与恢复演练测量——配置了备份不等于 RPO 有界,演练过的恢复才算 RTO 达标。

下一节把 RPO/RTO 用在 K8s 最核心的一份数据上:etcd 备份与整体恢复的一致性边界。

本节 lab

本节三个测试落在 backup 包的 DRPlan 上,覆盖 RPO 窗口、无备份边界与达标判定:

cd private/labs/k8s-net-lab
go test ./backup -run TestRPOWindow -v
go test ./backup -run TestRPOUnboundedWithoutBackup -v
go test ./backup -run TestDRPlanAchieves -v
  • TestRPOWindow(1 个断言):Backup(0) 后 RPO(1800) 断言为 1800——对应「未到下一次备份时 RPO 等于距上次备份时间」。
  • TestRPOUnboundedWithoutBackup(1 个断言):从未 Backup 的计划在 RPO(10000) 断言为 -1——对应「无成功备份 RPO 不可估计」。
  • TestDRPlanAchieves(3 个断言):Backup(0) 后 now=1800 时,断言 RTO=300/RPO=1800 的目标达标、RTO=120 的目标不达标、RPO=600 的目标不达标——对应「两个指标须同时压进目标」。

三测试共 5 个断言,运行见 ok k8s-net-lab/backup。DRPlan 的 30 行逻辑把「RPO 有界 / 无界 / 达标」这一整套容灾测量做成最小可验证闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图