9.2 跨区域容灾与 RTO/RPO
9.1 节回答了「快照怎么做才是对的」。但对容灾而言,「对的快照」只是半句话——另一半是数字:数据最多丢多少、系统多久能回来。这两个数字就是 RPO 与 RTO。它们把「容灾做得好不好」从形容词变成可测量、可判定达标的目标。
两个数字的定义
先钉死定义,这节所有讨论都从定义出发:
| 指标 | 全称 | 含义 | 单位 |
|---|---|---|---|
| RPO | Recovery Point Objective | 可容忍的数据丢失窗口:恢复到多近的时间点 | 时间 |
| RTO | Recovery Time Objective | 可容忍的恢复时间:从故障到服务恢复 | 时间 |
注意 RPO 是「时间单位」,不是「数据量」——它表述的是「允许恢复到多久以前的备份点」。一个 RPO=1h 的系统,意味着故障时刻最多可以丢失最近 1 小时的写;RTO=30min 意味着故障后最多 30 分钟要恢复服务。RPO 衡量丢多少,RTO 衡量等多长——两个维度正交,容灾计划必须同时给出。
备份间隔决定 RPO 上限
RPO 的直接上限是备份间隔:两次成功备份之间的时间越长,故障时刻距最近备份点越远,数据丢失窗口越大。lab 里:
func (p *DRPlan) RPO(now int64) int64 {
if !p.HasBackup { return -1 }
return now - p.LastSuccess
}
RPO = now - LastSuccess,而 LastSuccess 最远也不会早于「上一次成功备份」。所以:
| 备份间隔 | RPO 理论上限 | 故障发生在备份后 1 分钟时 |
|---|---|---|
| 每小时 | ≤ 1 小时 | 1 分钟 |
| 每 15 分钟 | ≤ 15 分钟 | 1 分钟 |
| 每天 | ≤ 24 小时 | 1 分钟 |
RPO 是动态的:故障恰好发生在备份刚完成之后,丢失窗口只有 1 分钟;恰好发生在下一次备份即将开始时,丢失窗口逼近一个完整间隔。所以「RPO ≤ 备份间隔」是硬上限,真实 RPO 在 0 到间隔之间浮动。设定 RPO 目标前,先问备份间隔能不能兜住它——目标 RPO=15min 而备份每小时一次,在数字上就是不可能达标的。
无成功备份:RPO 不可估计
RPO 公式里 HasBackup 为 false 时返回 -1——这是「正无穷」的编码:从未成功备份过,数据丢失窗口无法估计,等于整个数据集都可能丢。这个边界经常被忽略:
| 状态 | RPO | 语义 |
|---|---|---|
| 至少一次成功备份 | now - LastSuccess | 有界,最多丢一个间隔 |
| 从未成功备份 | -1(不可估计) | 无界,可能全丢 |
-1 不是「RPO 很差但还有个数字」,而是「没有数字」——计划里没有成功备份,任何 RPO 目标都无法用测量支撑。这也是容灾体系的第一条门槛:先有一次成功的备份,RPO 才有意义。很多系统「备份配置了但从没成功过」,它们的 RPO 就是不可估计的 -1,直到第一次成功备份才变成有界数字。
RTO:恢复时间从哪来
RTO 在 lab 里就是 RestoreTime——恢复一次备份所需的时间。它比 RPO 更依赖实测,因为「恢复」是一条复杂链路:
| 恢复链路环节 | 消耗的时间来源 |
|---|---|
| 发现故障、启动流程 | 告警到人工/自动决策 |
| 恢复基础设施 | 创建集群、拉起依赖(9.3 的 etcd 就在这一步) |
| 恢复数据 | 从快照/备份还原卷(9.1 的一致性组) |
| 应用启动自检 | 数据库回放日志、建索引、预热 |
RTO 目标必须按这条链路的总和设定,而不是只测「还原卷耗时」。链上任一环节慢,RTO 就超。这也是 lab 把 RTO 简化成一个数的原因——它表达的是「整条链路的目标恢复时间」,测量的方式留给恢复演练(9.2 结尾)。
达标判定:两个指标同时压进目标
Achieves 是容灾计划的判定函数:
func (p *DRPlan) Achieves(targetRTO, targetRPO, now int64) bool {
return p.RTO() <= targetRTO && p.RPO(now) <= targetRPO
}
它要求实际 RTO 与 RPO 同时压进目标,缺一即不达标:
| 场景 | 实际 RTO | 实际 RPO | 判定 |
|---|---|---|---|
| 恢复快、丢得少 | 300s | 1800s | RTO 300 ≤ 目标 300,RPO 1800 ≤ 目标 1800:达标 |
| 恢复不够快 | 300s | 1800s | 目标 RTO 120:不达标(300 > 120) |
| 丢得太多 | 300s | 1800s | 目标 RPO 600:不达标(1800 > 600) |
RPO 达标只与备份间隔和成功时间有关,RTO 达标只与恢复链路耗时有关——两个指标由两条独立链路决定,所以判定必须同时成立。调整一个指标达不了标,就按表里对应的那条链路去改:RPO 不够就缩备份间隔,RTO 不够就优化恢复链路。
目标 vs 实际:RPO/RTO 的两个口径
容灾文档里要区分「目标」与「实际」,它们是两套数字:
| 口径 | 来源 | 谁承诺 |
|---|---|---|
| RPO/RTO 目标 | 业务要求(SLA) | 业务方定目标 |
| 实际 RPO/RTO | 备份时间戳与恢复演练测量 | 运维方提供证据 |
目标来自「业务能承受丢多少、等多长」,实际来自「配置与演练测得」。达标判定就是「实际 ≤ 目标」。很多容灾事故的根因不是没有目标,而是从未测量过实际——以为每小时备份就等于 RPO 1 小时,却没发现最近 3 次备份全失败了(实际 RPO 已变成不可估计的 -1)。所以「测量实际」本身也是容灾计划的一部分,不只是配置备份。
一份合格的容灾文档,两套数字必须同时列出来:目标列写业务要求,实际列写最近的测量证据——备份时间戳算 RPO、演练记录算 RTO。两列对齐的地方才是「达标」;对不齐的那一行,就是容灾计划下一步要修的缺口。
恢复演练:RTO 的唯一来源
RTO 的目标可以写在文档里,但实际 RTO 只能从演练里测出来。配置里读不到它——恢复链路每一环都可能和你预想的不一样:
| 演练中常见发现 | 为什么演练才暴露 |
|---|---|
| 备份目标账号权限被收回 | 日常只写不读,恢复时才读 |
| 依赖(DNS、存储类)未就绪 | 演练才按恢复顺序拉起全套 |
| 增量快照链断裂 | 恢复时才需要链上所有环节 |
| RPO 目标与备份间隔不匹配 | 演练才计算「从上次成功备份到故障」的真实窗口 |
演练的频率与深度决定 RTO 数字的可信度:季度演练 + 完整链路(真实还原数据、真实启动应用)测出的 RTO,才值得写进容灾文档。只做过「还原一块卷」的局部测试,测出的只是链路一段,不是 RTO。这也是 9.1 恢复演练条目与本节 RTO 测量的接缝:快照体系验证「数据可还原」,容灾演练验证「还原要多长时间」。
跨区域容灾:区域拓扑对两个指标的影响
跨区域容灾里,区域间的距离同时作用于 RPO 与 RTO:
| 容灾形态 | RPO 来源 | RTO 来源 |
|---|---|---|
| 周期性备份异地存储 | 备份间隔 + 传输延迟 | 从异地存储拉回 + 重建 |
| 异步复制到异地 | 复制 lag(秒到分钟级) | 仍要切换 + 拉起 |
| 同步复制双活 | 近 0(无丢失) | 仍要切换流量 + 数据一致性校验 |
区域距离主要卡在传输与同步:异地备份意味着快照要先传到异地(9.1 的一致性组快照链要整体传),异步复制意味着 lag 本身就是 RPO。越往「丢得少」的方向走(同步复制),对网络的要求越高、成本越大——RPO 是逐步逼近 0 的连续光谱,不是「备份或没备份」的二值。选哪个档位,取决于业务愿意为「少丢一点」付多少。
一个达标判定的完整例子
把本节的数字串成一个完整例子,假设某跨境业务的容灾目标是 RTO=300s、RPO=1800s:
- 备份策略:每 30 分钟做一次一致性组快照(9.1),传给异地。
BackupInterval=1800。 - 当前时刻
now=1800,距上次成功备份LastSuccess=0,实际RPO=1800≤ 目标 1800——RPO 达标。 - 恢复演练测得还原卷 + 重建 + 应用启动共
RestoreTime=300s,实际RTO=300≤ 目标 300——RTO 达标。 Achieves(300, 1800, 1800)返回 true:计划达标。- 把目标改严再复测:若业务把 RPO 目标压到 600s,同样的备份策略(实际 RPO 仍是 1800s)立即不达标——目标由业务承受力定,调整目标后必须重新复测,而不是沿用旧结论。
再把一个变量改坏:备份策略配置没问题,但最近几轮备份都失败了。HasBackup 仍然为 true(曾经成功过),可 LastSuccess 停在很久以前,now - LastSuccess 持续增大,迟早顶破 1800。这就是 TestRPOWindow 那条曲线的工程含义——RPO 不达标往往不是目标错了,而是最近一次成功备份离得太远了。监控 LastSuccess 的新鲜度比背公式更有用:实际 RPO 是「现在距上次成功备份」的函数,任何让备份失败的环节都会让这个值无声放大。
三个常见误解
- 「RPO=1 小时是因为备份间隔是 1 小时」——错误。备份间隔只是 RPO 的上限,实际 RPO 在 0 到间隔之间;更重要的是最近备份必须成功,失败备份会让实际 RPO 瞬间变成不可估计。
- 「RTO 就是恢复数据的时间」——错误。RTO 是整条恢复链路的耗时总和:发现、拉起基础设施、还原数据、应用自检都在里面,只测还原卷会严重低估 RTO。
- 「RPO 目标达成了,容灾就达标了」——错误。
Achieves要求 RTO 与 RPO 同时达标;恢复慢同样不达标,两个指标由两条独立链路决定。
一句话总结本节
RTO/RPO 把容灾变成两个可测量的数字:RPO=数据丢失窗口(备份间隔定上限,从未成功备份则不可估计),RTO=恢复时间(整条恢复链路的总和),达标要求两者同时压进目标;目标的松紧由业务承受力定,实际值必须靠备份时间戳与恢复演练测量——配置了备份不等于 RPO 有界,演练过的恢复才算 RTO 达标。
下一节把 RPO/RTO 用在 K8s 最核心的一份数据上:etcd 备份与整体恢复的一致性边界。
本节 lab
本节三个测试落在 backup 包的 DRPlan 上,覆盖 RPO 窗口、无备份边界与达标判定:
cd private/labs/k8s-net-lab
go test ./backup -run TestRPOWindow -v
go test ./backup -run TestRPOUnboundedWithoutBackup -v
go test ./backup -run TestDRPlanAchieves -v
TestRPOWindow(1 个断言):Backup(0)后RPO(1800)断言为 1800——对应「未到下一次备份时 RPO 等于距上次备份时间」。TestRPOUnboundedWithoutBackup(1 个断言):从未Backup的计划在RPO(10000)断言为 -1——对应「无成功备份 RPO 不可估计」。TestDRPlanAchieves(3 个断言):Backup(0)后now=1800时,断言 RTO=300/RPO=1800 的目标达标、RTO=120 的目标不达标、RPO=600 的目标不达标——对应「两个指标须同时压进目标」。
三测试共 5 个断言,运行见 ok k8s-net-lab/backup。DRPlan 的 30 行逻辑把「RPO 有界 / 无界 / 达标」这一整套容灾测量做成最小可验证闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。