《Kubernetes 分布式系统原理深入解析》7.3 快照/克隆/迁移的一致性语义

快照、克隆与迁移是有状态数据运维的三件套,每件都背着一致性语义:快照要求卷已 attach 保证数据面静止,克隆从快照派生新卷,一致性组对多卷坚持全量或全不。本节用 CSI 视角拆解这三件套。lab 用 csi 包验证快照前置条件、克隆继承容量与一致性组 all-or-nothing。

7.3 快照/克隆/迁移的一致性语义

7.2 节解决了「卷在节点间怎么安全搬家」,本节解决「数据怎么被复制与再生」。有状态运维离不开三件套:快照(保存某一时刻的数据)、克隆(从快照派生新卷)、迁移(把数据搬到别处)。三者共享同一句忠告:一致性是语义,不是口号——快照的时机、克隆的完整性、多卷的一致性组,每一项都有可验证的前置条件。

快照:为什么必须基于已 attach 的卷

快照要抓的是「某一时刻的数据」。但「某一时刻」若正赶上写入进行中,抓到的就是半截数据——文件系统不完整、事务未落盘。lab 的 Snapshot 用一条前置条件规避它:

if _, attached := c.Attached[volID]; !attached {
    return false // 数据可能在写中
}

要求卷已 attach(有一个写入者),保证快照时数据面静止。 这个简化模型背后的工程现实是:生产环境的快照要么依赖文件系统冻结(freeze/thaw),要么依赖存储阵列的 crash-consistent 快照;而「必须 attach」是把「有没有写入者」这一信息当作协调依据——没有写入者就无从谈静止,拒绝反而最安全。

lab 的 TestSnapshotRequiresAttached 验证的正反两面:未 attach 时 Snapshot 返回 false,attach 后返回 true。快照前先确认写入者状态,是数据安全的第一道闸门。

VolumeSnapshot:快照的 CRD 形态

在 K8s 里快照不是凭空发生的,它是一组 CRD 对象。VolumeSnapshot 引用 PVC,底层由 csi-snapshotter 驱动:

apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: db-backup-20261113
spec:
  volumeSnapshotClassName: csi-ebs-vsc
  source:
    persistentVolumeClaimName: data-db-0

配套的 VolumeSnapshotClass 声明快照用哪个 CSI 能力与参数(比如 EBS 快照的保留策略)。触发链路是:VolumeSnapshot 对象 → csi-snapshotter → Controller.CreateSnapshot → 后端造快照 → 状态回填。对象是期望,后端是现实——这与 7.2 节的期望状态模式同构,但这次目标是「数据」而不是「attach 关系」。

快照的调度窗口:什么时候打

快照的一致性不只取决于「有没有写入者」,还取决于「静止点怎么选」。生产上三个时机各有取舍:

时机一致性代价
应用冻结(freeze/thaw)应用级一致需要应用配合,冻结期业务停写
文件系统快照(LVM/阵列)文件系统一致依赖后端能力,冻结窗口短
crash-consistent崩溃一致恢复时可能需回滚未提交事务

「卷已 attach」只是最粗的闸门:它保证「有个写入者、协调有据」,但不保证应用事务完整。数据库生产快照通常先 FLUSH TABLES WITH READ LOCK 再打,就是要把「静止」从存储层提升到应用层。静止点越靠上,恢复出来的数据越完整;代价是冻结窗口越长。

克隆:从快照派生新卷

快照的常见用途之一是派生:CloneFromSnapshot 从快照造出一块全新卷,新卷与旧卷互不影响:

派生方式来源独立性典型用途
全量克隆快照完全独立测试环境、灰度副本
写时复制(COW)克隆快照逻辑独立,共享底层快速开副本、开发沙箱

lab 的 CloneFromSnapshot 坚持一个简单不变量:从未快照的卷不可克隆。 这不是挑剔,而是语义完整性的要求——快照是克隆的「合法出生证明」,没有它,克隆出的卷内容无从定义。

同时克隆继承容量(SizeGiB 保持一致),保证新卷能装下原数据。真实 CSI 的 CreateVolume 支持 Source 参数指定 VolumeSnapshot 或 Volume 作为克隆来源,语义一致:来源必须是静止且可定义的数据,输出必须是独立可挂载的卷。

全量克隆与 COW 的取舍

两种克隆不是「哪个更好」,而是「快与省」的权衡:

维度全量克隆COW 克隆
创建耗时按数据量复制,分钟级元数据级,秒级
读性能独立存储,无依赖未修改区域读源快照,稍慢
源数据依赖无依赖源快照存活
典型场景稳定副本临时沙箱、并行开发

选型要点:副本要长期独立,选全量;副本短命且要多开,选 COW。而无论哪种,起点都是同一个合法快照——克隆的正确性不取决于克隆技术,取决于快照的静止点。

快照的保留与清理

快照不是免费的:它占存储空间,且数量多了会拖慢列举与管理。保留策略要有显式边界:

策略保留窗口成本
每日全量保留 7 天7 份空间,恢复点按天
每日全量 + 日/周/月分层分层保留空间可控,恢复点多样
仅一致性组按业务窗口空间最少,恢复粒度粗

清理与保留是一体两面:DeleteSnapshot 必须等关联克隆不再引用它——COW 克隆还挂着一个快照,删了它克隆就失去底层数据。保留策略是「成本 × 恢复粒度」的权衡,而清理时机要遵循「先解除引用,再删除快照」的顺序,与 7.2 节「先卸载,再 detach」是同一个原则的又一实例。

一致性组:all-or-nothing

单卷快照简单,多卷快照才是分布式系统的分水岭。数据库往往是「数据卷 + 日志卷」或「多 shard 多卷」——若各卷在不同时刻各自快照,恢复出来的库就缺了几条日志或错位的 shard,数据整体损坏。

一致性组的答案是一个强承诺:要么全部卷在同一语义时刻快照,要么一个都不快照。 lab 的 ConsistencyGroup.SnapshotAll 分两遍实现:

// 第一遍:预检——任一卷缺失或未 attach,整体拒绝
for _, v := range g.Volumes {
    if _, ok := g.Controller.Volumes[v]; !ok { return false }
    if _, attached := g.Controller.Attached[v]; !attached { return false }
}
// 第二遍:全部执行——通过预检才给组内每卷打快照
for _, v := range g.Volumes {
    g.Controller.Snapshot(v, fmt.Sprintf("%s-%s", groupSnapID, v))
}

两遍设计是 all-or-nothing 的标准实现:预检把所有失败原因在动手前找齐,动手后就不再有「部分成功」的可能。 现实世界的存储阵列同样用一致性组快照保证跨卷恢复点对齐,K8s 的 VolumeSnapshotClass 也支持 csi.storage.k8s.io/volumesnapshots/... 这类一致性组能力声明。

一个恢复场景:为什么一致性组不可省

把「部分快照」的后果走一遍,你就能理解为什么一致性组是硬需求:

场景数据卷快照日志卷快照恢复结果
各自独立快照时刻 T1时刻 T2(T2<T1)缺 T2–T1 的日志,库损坏
各自独立快照时刻 T1时刻 T2(T2>T1)日志指向未提交的数据,回滚混乱
一致性组同一时刻同一时刻数据与日志对齐,可直接恢复

前两行是「不同时刻」的两个方向,结局都是不可用——要么缺日志,要么日志超前。只有第三行的「同一语义时刻」能保证数据库在恢复后回到一个自洽状态。一致性组省掉的不是操作,是跨卷恢复点错位的整类故障。

迁移:把数据搬到新节点/新卷

迁移是三件套里最综合的一个,它其实是快照 + 克隆 + attach 的组合拳:

迁移场景做法一致性保障
跨节点detach 旧节点 → attach 新节点串行交接(7.2 节)
跨可用区快照 → 克隆到新可用区 → 挂载快照静止 + 克隆完整
跨集群/换后端快照导出 → 目标端重建一致性组 all-or-nothing

跨可用区迁移的经典路径就是「快照搬数据」:旧可用区做快照,目标可用区从快照克隆出新卷,Pod 挂上新卷。快照的一致性决定了迁移结果的数据完整性——单卷靠 attach 静止保证,多卷靠一致性组保证。这也是为什么第 6.3 节说块卷困在单可用区:漂移不行,但快照+克隆可以把数据「复制」过去。

三件套的一致性关系表

把三件套放进一张表,前置条件一目了然:

能力前置条件失败代价lab 测试
快照卷已 attach抓到半截数据TestSnapshotRequiresAttached
克隆有合法快照新卷内容未定义TestCloneFromSnapshot
一致性组组内全部可用部分快照导致恢复错位TestConsistencyGroupAllOrNothing

每行的失败代价都指向同一句话:一致性不是效率问题,是正确性问题。 快照晚一秒可能无所谓,半截快照会毁掉整个恢复。

三个常见误解

  • 「快照可以在卷空闲时打,attach 与否无所谓」——错误。空闲时没有 attach 恰恰说明没有协调依据;生产快照必须确认写入者状态与静止点,attach 前置是安全的保守默认。
  • 「克隆就是复制卷,从哪复制都一样」——错误。克隆必须从合法快照派生,直接复制运行中的卷会把不一致状态复制进新卷;来源的正确性决定克隆的正确性。
  • 「多卷各自快照,恢复时按时间排一下就好」——错误。各卷快照时刻不同,恢复出的数据库会缺日志或错位;只有一致性组 all-or-nothing 能保证跨卷恢复点对齐。

一句话总结本节

快照、克隆、迁移是同一套一致性语义的三次应用:快照以已 attach 为前置保证数据面静止,克隆从快照派生保证新卷内容有合法来源,一致性组用 all-or-nothing 保证多卷恢复点对齐。数据的每一次复制与移动,都必须建立在可定义的静止点之上。

到这里,卷四第 7 章收束:从 CSI 接口契约到 attach/detach 协调,再到快照/克隆/迁移的一致性,有状态存储的「造、挂、搬、复」四个动作都有了协议级答案。下一章转向多集群:当集群不止一个,服务如何跨集群发现、流量如何跨集群分发,一致性边界又会以什么面貌出现。

本节 lab

本节用 csi 包的三个测试验证三件套的一致性语义:

cd private/labs/k8s-net-lab
go test ./csi -run TestSnapshotRequiresAttached -v
go test ./csi -run TestCloneFromSnapshot -v
go test ./csi -run TestConsistencyGroupAllOrNothing -v
  • TestSnapshotRequiresAttached:断言未 attach 的卷 Snapshot 返回 false,attach 后断言返回 true——2 个断言,对应「快照要求已 attach」。
  • TestCloneFromSnapshot:有快照的卷断言可克隆且新卷容量继承为 100——2 个断言;再断言从未快照的卷克隆返回 false——1 个断言;共 3 个断言,对应「克隆必须有合法快照来源」。
  • TestConsistencyGroupAllOrNothing:全组可用时断言 SnapshotAll 成功且组内每卷都有快照——3 个断言;缺卷时断言整体拒绝且不留部分快照——2 个断言;共 5 个断言,对应「all-or-nothing」。

三个测试共 10 个断言,跑完见 ok k8s-net-lab/csi。三件套的一致性,最终都收束在「静止点可定义、来源可验证、提交可回滚」这三个可断言的原则上。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图