2.1 CAP 定理的精确表述与误区
CAP 定理是分布式系统里引用频率最高的定理,也是被简化得最厉害的一句话。「一致性、可用性、分区容忍三选二」这句口头禅几乎人人会说,但它是错的。本节先把 CAP 的原始表述和精确定义摆清楚,再破除三个误区,最后落到 K8s 的真实取舍:etcd 与 apiserver 缓存层在两套一致性之间并存。读完后你应该能自己回答两个问题:为什么 etcd 要多数派、为什么 informer 缓存敢滞后。
理解 CAP 的正确姿势,不是背结论,而是分清三件事:定理约束的是什么模型、C 具体指哪一种一致性、A 具体指哪一种可用性。三件都分清之后,CAP 就从「口号」变成了「工具」。
本节的阅读顺序也按这三件事展开:先给原始表述与证明,再精确化 C 与 A,然后破除三个误区,最后在 K8s 里找两套并存的真实取舍。
为什么值得花一整节把它说精确?因为错误理解会直接误导系统设计:把「三选二」当真的人,会以为多放几个副本就能同时换到更多属性;把 C 当成「最终一致也行」的人,会误判 etcd 与 apiserver 缓存层是同一类一致性承诺。精确的表述让你在设计时问对问题,而不是复述一句口号。
从猜想变成定理:原始表述
2000 年,Eric Brewer 在 PODC 的主题演讲里提出猜想:在一个共享数据的系统中,一致性、可用性、分区容忍三者无法同时满足。2002 年,Seth Gilbert 与 Nancy Lynch 发表论文 Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services,在异步网络的假设下给出了形式化证明。
定理说的是:在异步网络模型下,不存在一个系统能同时保证「线性一致」和「可用」——只要网络分区可能发生。更常用的表述是:分区发生时,系统必须在「保持线性一致」与「保持可用」之间二选一。
注意两个限定词:
- 异步网络模型:消息可以任意延迟、丢失、重复,节点无法用超时区分「消息没到」和「处理很慢」。这是证明成立的前提,也是现实网络的真实状态。
- 只要分区可能发生:定理并不假设分区一定会发生,只假设它可能发生。而在现实里,分区不是「可能」,是「必然」——只是时间问题。
精确定义一:线性一致(linearizability)
CAP 里的 C,指的是线性一致,不是「最终一致」「因果一致」「顺序一致」里的任何一种。线性一致的定义来自 Herlihy 与 Wing 1990 年的论文,可以拆成两条:
- 每条操作看起来都在某一瞬间原子完成。这个瞬间必须落在操作的调用(invocation)与返回(response)之间;
- 全局存在一个与真实时间一致的串行顺序。如果操作 A 在操作 B 的调用之前已经返回,那么 A 在全局顺序里必须排在 B 之前。
对读写来说,线性一致落到两条可检验的承诺:
- 一次成功的写,从它返回那一刻起,所有后续的读都必须看到这个写;
- 一次读到某个值时,该值对应的写必须已经「真实发生过」,不能凭空读出不存在的状态。
用 K8s 的话说:apiserver 对单个对象的读默认走 etcd 的线性一致读,读到的是「所有已确认写的最新结果」,而且读返回的顺序和真实发生的顺序一致。etcd 默认读就是线性一致读,底层用 Raft 的 ReadIndex 机制保证「不读到旧 leader 的过期数据」:leader 在任期确认后取当前 committed index,等本地应用到该 index 才返回。它额外提供的 serializable read 放弃「最新」保证,允许读到稍旧的值——这一档不是线性一致,但换来更低的延迟与对 leader 的更低依赖。
对照顺序一致(sequential consistency)可以看得更清:顺序一致只要求存在一个全局顺序、所有进程看到同一顺序,但不要求该顺序与真实时间一致。线性一致 = 顺序一致 + 实时序约束。顺序一致允许「读返回了一个逻辑上更早、但真实时间上更晚才发生的写」这类怪事,线性一致不允许。
用一组读写历史来感受线性一致的要求。假设只有一个键 x,初始为空:
| 时刻 | 操作 | 线性一致允许吗 |
|---|---|---|
| t1 | 写 x = v1 | —— |
| t2 | 读,返回 v1 | 必须:写 v1 已返回,读在其后 |
| t3 | 写 x = v2 并返回 | —— |
| t4 | 读,返回 v1 | 禁止:v2 已返回,后续任何读都不得读到更旧值 |
| t4' | 读,返回 v2 | 必须 |
换句话说,「v2 写成功返回之后,另一个节点还读到 v1」是线性一致直接禁止的历史;而在顺序一致下,只要所有节点以相同顺序看待 v1 → v2,某个节点暂时读到 v1 是允许的。这个差异正是本卷 lab 里 TestLinearizableReadLatest 与 TestEventualStaleReadWindow 分别锁住的两端。
精确定义二:可用性(availability)
CAP 里的 A,是 Gilbert 与 Lynch 定义的一种强可用性:每个未崩溃的节点,对每个合法请求,都最终给出一个响应。
注意两个容易漏掉的细节:
- 这里的「可用」不要求响应是最新或正确的。节点可以返回旧数据、可以返回错误码,只要最终有响应,就算「可用」。这个定义的动机是:一旦允许「拒绝响应」,系统就可以靠「不回答」躲开冲突,定理就失去意义。
- 它要求的是每个节点都响应,而不是「系统整体对外可用」。工程上常说的「高可用」(几个九)是另一个层面:允许局部拒绝,只承诺系统整体不瘫。
换句话说,CAP 的 A 是「谁都得答」,工程 HA 是「整体别断」。一个 CAP 意义上不满足 A 的系统,可以完全满足工程意义上的 HA——K8s 的 etcd 分区场景正是如此:少数派节点拒绝服务,但集群整体仍在多数派一侧正常运转。
把 C 与 A 的定义摆到一起,定理的证明思路就浮出水面:若网络分区把节点分成两组,一个「每个节点都必须响应」的系统,在某一侧收到一个写请求时,为了响应它只能接受写;但另一侧无法感知这个写,于是两侧的写无法被串成单一线性历史。要满足 C,就必须让一侧「不响应」;要满足 A,就必须接受「没有单一历史」——分区期间二者不可调和。
举一个体会「每个未崩溃节点都要响应」有多强的例子:3 副本 etcd 中某台节点因磁盘变慢而卡住,但它并没有崩溃。CAP 的 A 要求这台卡住节点对合法请求也给出响应;而工程实现通常会选择让它不参与 quorum 读、把请求转发或直接返回错误——在 CAP 意义上「不满足 A」,却换来整体更稳。这就是设计取舍的日常:定理划出不可能边界,工程在边界内找最优。
误区一:不是「三选二」
「CAP 是 C、A、P 三个里面挑两个」——这句话传播最广,错得也最彻底。错在哪?P(partition tolerance,分区容忍)不是一个可选属性,而是网络的事实。分区一定会发生,你没有「不分区」这个选项;你只能选择分区发生时保哪一边。
正确的框架是:任何分布式系统都必须面对 P,而在面对 P 的前提下,只能在「分区时保一致」与「分区时保可用」之间二选一。所谓「CA 系统」没有物理意义——一个假设永不分区的系统,通常就是一台单机,谈不上分布式。真正的设计问题从来不是「选 CP 还是 AP」,而是「分区时牺牲哪一边、分区恢复后怎么收敛」。
「避免分区」看似是第三条路,实际上只有三种走法:把系统缩成单机(那就不叫分布式);假设消息同步可达(现实中超时总会被超过);或者接受「宁可整组停止也不分裂」——这第三条路其实还是把 P 的成本转嫁成了 A 的损失,并没有逃出 CAP 的框架。
误区二:不是「永远二选一」
CAP 的二选一只发生在分区期间。分区消失、网络恢复之后,系统完全可以同时恢复完整的一致与可用。所以「一个 CP 系统平时不可用」是错的——CP 系统平时既一致又可用,只在分区时优先保一致。
这也引出分布式系统的一个核心工程议题:恢复路径。分区期间被拒绝的写,恢复后怎么办?etcd 的做法是依靠多数派机制:3 副本分区成 2+1,拥有多数的一方继续选主、继续服务;少数的一方失去 quorum,写请求最终以 etcdserver: no leader 类错误失败,读请求若要求 quorum 同样被拒。恢复后少数派从新 leader 追日志,追上即重新加入。
K8s 的上层组件还要再兜一层:apiserver 收到 etcd 的失败响应,就把错误暴露给调用方,控制器随后在下一轮调谐里重试。声明式期望状态在这里的收益再次显现——写被拒绝不是灾难,只是收敛被推迟。
误区三:C 具体指线性一致,不是任意一致
「最终一致的系统就是 AP」——这句话是语言上的模糊用法。在 CAP 的框架里:
- C 特指线性一致。最终一致、因果一致、顺序一致都不是 CAP 讨论的那一个 C;
- 一个最终一致系统在分区时,两侧都可以继续接受写并各自返回本侧的值——从外部看,它「两边都能响应」(接近 A),却没有单一线性历史(不满足 C)。它并不「选 A 放弃 C」那么简单,因为它连 C 的目标都不是;
- 反过来,一个想满足 CAP 之 C 的系统,在分区时必须拒绝一侧的写与线性一致读,这就是它牺牲 A 的方式。
把「AP」「CP」当万能标签是危险的:不同系统挂同一个标签,行为可能完全相反。与其贴标签,不如问三个问题:分区时哪些操作会被拒?被拒之后恢复路径是什么?平时的一致性承诺是哪一档?
顺带一提:K8s 的文档与代码几乎不用 CAP 的 CP/AP 标签,而是用 resourceVersion、乐观并发、最终收敛、lease 这类操作性语言。这正是本书采取的方式——先把定理说精确,再把它落到可验证的机制上,而不是在标签层面打转。
误区之外:CAP 不承诺什么
CAP 是一条很窄的定理,它不承诺的东西和它承诺的一样重要:
- 不涉及性能:它没说一致系统更慢或可用系统更快,只说分区期间二者不可兼得;
- 不涉及复杂度:实现线性一致需要 quorum 协商、日志复制、故障检测与恢复,这些成本全在定理之外;
- 不涉及分区频率:两个集群同样标 CP,一个每月分一次、一个每天分一次,工程价值天差地别——CAP 对这一点保持沉默。
所以实践中真正的问题从来不是「选 C 还是选 A」,而是「分区多频繁、恢复多快、拒绝哪些操作、平时给哪一档一致性承诺」。
K8s 的取舍:两套一致性并存
K8s 在一条链上同时用了两种取舍,理解这一点比记住「K8s 是 CP」有用得多:
| 层次 | 一致性选择 | 分区时的行为 | 代价 |
|---|---|---|---|
| etcd 存储层 | 线性一致(quorum) | 多数派服务,少数派拒绝写与 quorum 读 | 分区期间少数方不可用 |
| apiserver → informer 缓存层 | 最终一致 | 缓存继续服务,内容滞后于 etcd | 读到的可能是旧状态 |
etcd 层选 C:所有集群状态都押在 etcd 上,所以 etcd 必须给出最强的一致性承诺。3 副本容忍 1 台失联、5 副本容忍 2 台;分区时拥有 quorum 的一侧继续选主与写,失去 quorum 的一侧拒绝服务。这就是「牺牲可用保住一致」的直接体现。
把分区场景量化一下,多数派机制的行为一目了然:
| 集群 | 分区切分 | 有 quorum 的一侧 | 无 quorum 侧的行为 |
|---|---|---|---|
| 3 副本 | 2 + 1 | 2 侧 | 1 侧拒绝写与 quorum 读 |
| 3 副本 | 1 + 1 + 1 | 无 | 全部拒绝写,直到恢复 |
| 5 副本 | 3 + 2 | 3 侧 | 2 侧拒绝写与 quorum 读 |
| 5 副本 | 2 + 2 + 1 | 无 | 全部拒绝写,直到恢复 |
注意「无 quorum」指没有任何一组凑齐多数——这种时候系统宁可整体只读,也不让任何一侧写出可能冲突的历史。这正是多数派机制把「谁有权写」变成「谁凑够数」的代价与回报。
apiserver 缓存层选最终一致:informer 在内存里维护一份 list-watch 同步的本地缓存(lister),它落后于 etcd 是常态而不是异常。watch 断连后,informer 从记录的 resourceVersion 重新 list 追赶。控制器读这份缓存做决策,读到旧数据只是让收敛变慢,不会破坏正确性——因为期望状态是声明式的,调谐循环会一遍遍重试直到一致。
一个具体的时序把两套取舍串起来:某 Deployment 期望副本数 3,副本控制器从 informer 缓存看到期望状态(可能滞后几百毫秒)→ 创建 3 个 Pod 对象 → 调度器绑定节点 → kubelet 拉起。缓存滞后只推迟收敛;但如果 etcd 处于分区状态,写入 Pod 对象的请求会直接在存储层被拒。两条链路上,缓存的最终一致负责「平时更快更稳」,存储的线性一致负责「关键时刻不错」。
把两套取舍叠到一次 API 调用上,体验就更清楚了:kubectl apply 写 Deployment → apiserver 写 etcd(线性一致,多数派确认后才向用户返回成功)→ 控制器从 informer 缓存读(最终一致,可能滞后)→ 调谐收敛。用户感受到的「成功」来自第一段,控制面感受到的「慢慢追上」来自第二段:第一段错了,应用就错了;第二段慢了,只是收敛慢。这两段各自的代价,就是本节开头那张取舍表的两列。
下一节把一致性从「线性一致」这一档展开成完整的谱系:线性一致、顺序一致、因果一致、最终一致,并给出各自的适用场景与 lab 用例。CAP 只告诉你在分区时二选一,谱系则告诉你平时各档之间差多少、各自在 K8s 的哪里被用到。
本节 lab
本节对应 k8s-etcd-lab 的 consistency 包。先读 consistency/models_test.go 里的 TestCAPPartitionTradeoff,它用一个「全局写历史 + 每副本可见性」的仿真器,把本节两组取舍直接跑给你看:
cd private/labs/k8s-etcd-lab
go test ./consistency -run TestCAPPartitionTradeoff -v
对照组也值得一跑:TestLinearizableReadLatest 在无分区时断言,线性一致下写返回后任意未分区副本立即读到最新值。它证明「线性一致系统平时又一致又可用」,正呼应误区二:两个承诺平时都兑现,只在分区时才做取舍。
真实断言语义如下:
- 线性一致 + 分区 → 写被拒绝(牺牲可用)。
NewSimulator(Linearizable, 2)把副本 1 置入分区后,Write对分区副本返回false(t.Fatal断言它必须失败);对分区副本的Read也返回ok=false。这模拟的正是 etcd 少数派失去 quorum 后拒绝读写:系统选择保住线性一致,牺牲了分区副本的可用。 - 最终一致 + 分区 → 两侧分裂(牺牲一致)。
NewSimulator(Eventual, 2)把传播延迟设为 100 tick 并分区后,两侧各自接受写(一侧写x=a,另一侧写x=b),各自读到自己写的值(t.Fatal断言两侧读到的不相等)。这模拟的正是 informer 缓存层:两侧都能继续服务,但没有单一线性历史。
两个断言合起来就是 CAP 的一体两面:保一致就别想让分区侧也响应;保可用就别想让两侧看到同一份历史。把参数改一改——把 Linearizable 换成 Sequential、或把传播延迟设小——你就能亲眼看到行为在两种取舍之间滑动。这正是第 1.2 节所说「挑战必须可复算」的含义。
值得回到 consistency/models.go 看两处实现,它们就是 CAP 在模型层的全部体现:
Write在Linearizable模型下直接拒绝分区副本(return false),在Sequential/Eventual下照常记录历史——「保一致时分区侧不可写」就写在这一行;visibleUpper决定一个副本在某个 tick 能看到多新的历史:线性一致直接返回len(history)-1(写立即全局可见),最终一致则要等传播延迟——「最终一致的滞后窗口」也写在这一行。
把这两处代码和测试断言对照着读,本节的全部结论就都落在可复算的 --- PASS 上了。
回到本节开头那句话:分清定理约束的模型、分清 C 具体指线性一致、分清 A 是「每个未崩溃节点都响应」,CAP 就从口号变成工具。工具的意义不在记住结论,而在每次设计取舍时能精确指出:这里牺牲了什么、在什么条件下牺牲、恢复路径是什么。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。