1.2 分布式系统的目标与挑战
上一节说 K8s 是一台真实运行的分布式系统。这一节我们把「分布式」这个形容词拆开,看清它带来的四个目标与五个挑战。如果你带着这份清单去读后面的章节,会发现每章都在回答同一个问题:在某个挑战的约束下,某个目标靠什么机制来兑现。
本节不写算法,只建立一张「目标 × 挑战」的地图;从第 2 章开始,地图上的每个格子都会配一个可运行的 lab 仿真。
一个严格但平易的定义
「分布式系统是一组自治节点,通过网络协作完成单一任务。」这句话有三个词值得较真:
- 自治:每个节点有自己的 CPU、内存、磁盘和时钟,独立做决策,不共享内存、不共享磁盘。节点崩溃不会把别的节点拖下水——这正是分布式系统能容错的起点。
- 网络:节点之间唯一的信息通道是消息。消息要经过网络,就可能延迟、丢失、乱序、重复,甚至被网络分区彻底切断。分布式领域几乎所有难题都起源于这句话。
- 单一任务:对使用者来说,整组节点应当呈现为「一个系统」。K8s 的单一任务是让集群状态收敛到期望状态;etcd 的单一任务是提供一个多副本、一致、可 watch 的键值存储。
把这三条放到一起,立刻能列出一张对照表:
| 维度 | 单机程序 | 分布式系统 |
|---|---|---|
| 状态存放 | 本地内存 + 本地磁盘 | 状态必须复制到多台机器 |
| 故障模型 | 进程崩溃 = 全部失败 | 部分节点失败,其余继续 |
| 时间 | 单一时钟,全局有序 | 每节点一堵墙钟,互相漂移 |
| 通信 | 函数调用(可靠) | 网络消息(不可靠) |
| 一致性 | 天然一致(共享内存) | 每副本各有一份状态,需共识 |
这张表其实就是全书的目录:每一行「从单机到分布式」的变化,都会在后面变成一组专门机制。
还要澄清一个常见误解:分布式系统的「节点」不一定是物理机器。在 K8s 里,自治的粒度可以是 etcd 的一个实例、kubelet 的一台宿主机、或运行控制面进程的一个容器——只要它拥有独立的状态和决策能力,就满足「自治」。同一台物理机上通过 socket 通信的两个独立进程,也已经开始承受部分失败与消息不可靠的语义:分布式问题在进程边界处就出现了,不必等到跨机房。
四个核心目标
分布式系统公认要同时追求四个目标,而它们彼此冲突:
| 目标 | 含义 | K8s 里的落点 |
|---|---|---|
| 可用性 availability | 系统对合法请求持续响应,局部故障不导致整体停机 | apiserver 多副本;etcd 多数派存活即可服务 |
| 一致性 consistency | 所有节点对状态有一致的认知,读到的东西足够新且不矛盾 | etcd 的 Raft 共识与 mvcc revision;resourceVersion 乐观并发 |
| 可扩展性 scalability | 增加资源就能提高容量,系统不因规模增长而劣化 | 控制面组件水平扩展;调度器打分随节点数近似线性 |
| 容错性 fault tolerance | 部分组件故障不导致系统整体失败 | leader 选举与租约;Pod 自愈;etcd 的 quorum 容错 |
难点在于这四个目标不是彼此独立的,两两之间都在交换。想要一致,可能要牺牲一点可用;想要容错,状态就必须复制;状态一复制,一致性就成了问题。第 2.1 节的 CAP 定理只是把「一致 × 可用 × 分区」这一个角度的冲突讲清楚了;而下面这五个挑战,是这四个目标每天要面对的具体敌人。
用 etcd 的副本数就能看见这种拉扯:3 副本容忍 1 台故障,写路径只要 2 个确认,延迟低、可用性好,但只能扛 1 台;5 副本容忍 2 台故障,容错更强,可每写一次要多付 2 台从副本的确认成本,延迟更高、维护面更大。于是「3 还是 5」不是拍脑袋,而是在容错、延迟、成本之间做显式权衡——这正是本书反复强调的「取舍」。
挑战一:部分失败(partial failure)
单机程序只有两种结局:成功或失败。分布式系统多了第三种:结果未知。
K8s 里最典型的一幕:apiserver 向 etcd 发起一次写请求,RPC 超时了。此时可能发生了三件事中的任意一件:
- 请求根本没到 etcd;
- 请求到了,etcd 已提交、已应用,但响应在回传路上丢了;
- 请求到了,一切正常完成,只是响应超时被客户端提前放弃。
apiserver 拿到的只是一个 timeout 错误,它无法区分上面三种情况。盲目重试,可能把同一个请求提交两次(重复写);不重试,又可能丢掉一次本该成功的提交(丢失写)。这就是部分失败:系统对「某次操作到底成没成」没有确定答案,而相关节点本身并没有死。
K8s 的工程答案是「声明式期望状态 + 幂等重试」,而不是试图让单次请求变得绝对可靠:重复执行同一个期望状态的调谐是幂等的;apiserver 对 etcd 的请求走客户端重试,重试后以读到的实际状态为准;控制器干脆把「我发起过请求」当作推进依据,而不是「我成功了」。
注意部分失败与「进程崩溃」不是一回事:崩溃是「明确死了」,部分失败是「可能活着、可能死了、我不知道」。绝大多数分布式故障处理代码写的都是后一种。
挑战二:网络不可靠:延迟、丢包与分区
网络是分布式系统的地基,也是最不可控的部分。消息可能延迟(超时按多少毫秒设?)、丢失(TCP 重传之外还有层层故障)、乱序(先后到达的消息顺序颠倒)、重复(重试产生的副作用)。
最严重的是网络分区:两个方向的通信同时断掉,节点各自还在跑,却互相看不见。
K8s 的经典场景:kubelet 与 apiserver 之间的连接中断,但 kubelet 还活着、Pod 也正常在跑。控制面怎么判断「节点失联」而不是「节点死亡」?答案是心跳 + 宽限期,一组可复算的数字:
- kubelet 以
--node-status-update-frequency(默认 10 秒)为周期更新 Node 状态并续约 Node lease; - controller-manager 的节点控制器每
--node-monitor-period(默认 5 秒)检查一次,lease 超过--node-monitor-grace-period(默认 40 秒)未续约,就把节点标记为 NotReady; - 节点被打上
node.kubernetes.io/not-ready:NoExecute污点后,运行中的 Pod 默认容忍 300 秒,随后开始被驱逐。
于是从失联到驱逐,大致是一条时间线:10s(心跳周期)→ 40s(判定 NotReady)→ 300s(容忍到期、驱逐开始)。这组数字说明的不是「网络很慢」,而是:在无法区分「节点死」和「网络断」的前提下,系统只能靠超时与宽限,把不确定性转化成可操作的判定。宽限期设短了会把网络抖动误判成节点死亡,设长了又反应迟钝——这是典型的工程权衡,没有完美答案。
挑战三:时钟不同步:为什么需要逻辑序
单机程序里 now() 是全局可靠的:同一个时钟天然给所有事件一个全序。分布式系统没有这种东西——每个节点有一堵自己的墙钟,它们互相漂移:NTP 同步误差通常有几十毫秒,虚拟机热迁移可能把时钟跳回过去,闰秒处理不当会让时间倒退一秒。
如果靠墙钟给跨节点的两个事件排序,就会出现「A 发生在 B 之前,但 A 的时间戳比 B 晚」的矛盾。所以 K8s 从不拿墙钟决定顺序:
- 对象的
resourceVersion是 etcd 的 mvcc revision——一个单调递增的整数,它就是对象的逻辑序; creationTimestamp、lastTimestamp只用于展示与排查,不参与任何排序和一致性判断;- watch 事件流的推进依据是 resourceVersion,而不是时间。
这里的原理来自 Lamport 1978 年的论文 Time, Clocks, and the Ordering of Events:分布式排序真正可靠的基础是因果序(happens-before),物理时钟只能当近似。Lamport 时钟、向量时钟、混合逻辑时钟(HLC)都是把因果关系编码成可比大小的计数器;第 3 章会逐一实现并验证,lab 的 clock 包已经就位。
挑战四:并发与竞态:多个控制器同时改一个资源
K8s 集群里同时写着同一个对象的远不止一个角色:用户 kubectl apply、Deployment 控制器改 ReplicaSet、ReplicaSet 控制器改 Pod、节点控制器改 Node 的污点、scheduler 改 Pod 的 nodeName……它们并发地读-改-写同一份状态,没有任何一把全局锁保护。
如果采用「读旧版本 → 修改 → 写回」的朴素流程,就会丢失更新:两个写者都读到 version 100,各自按自己的意图修改,后提交者带着 version 100 覆盖前一个,前一个的修改就消失了。
K8s 的选择是乐观并发:apiserver 要求写请求携带它所基于的 resourceVersion,写入时校验当前 revision 仍等于该值;不等就返回 409 Conflict,客户端必须重新读取、重新决策、重新提交。注意这里没有锁——冲突是允许发生的,系统只是保证「谁先把 version 100 写成功,另一个就注定失败」,并把失败方送回去重读。这与悲观锁的区别在于:冲突少时吞吐高,冲突多时重试成本上升。第 2 章会从 mvcc revision 的角度,把「version 不匹配 → 409 → 重读」的机制仿真出来。
挑战五:状态复制困难:为什么需要 Raft 与 mvcc
单机存储把状态 fsync 到本地磁盘就完事了。分布式要求状态在多台机器上一致地存在,而且要在节点失联、消息丢失时仍然一致。难点不在「复制一份」,而在「让所有存活的节点对同一份日志条目序列达成一致」:谁来决定日志的全局顺序?哪些条目算提交了?落后的 followers 怎么追?旧 leader 复辟了怎么办?
Raft 把这个问题拆成三层:
- 选举:谁能追加日志?只有 leader;
- 日志复制:leader 把条目广播给 followers,收到多数派确认才提交(3 副本要 2 个确认,5 副本要 3 个);
- 状态机应用:已提交的条目按相同顺序应用到每副本的状态机,得到相同结果。
而 etcd 在 Raft 之上又加了一层多版本并发控制(mvcc):每次写入产生一个新的 revision,旧版本按压缩窗口保留。mvcc 带来两件关键能力——watch(从某个 revision 增量地推送事件)与读旧版本(快照 / 历史读)。第 4、5 章会把 Raft 的选举限制、提交轮次、pre-vote、FLP 结论逐一仿真;mvcc 与 watch 在后续 lab 批次(store/mvcc、watcher)加入。
五个挑战串成一条主线
五个挑战不是并列的清单,而是一条因果链:
网络不可靠(挑战二)→ 产生部分失败(挑战一)→ 节点无法靠墙钟对齐(挑战三)→ 并发写者必须用版本号协商(挑战四)→ 状态必须跨机器复制,且复制过程要容忍以上全部(挑战五)。
这条链指向一个结论:K8s 的每一层机制,都是在某个挑战的约束下对某个目标的一种兑现。Raft 兑现「容错 + 一致」,mvcc 兑现「并发安全 + 可观察」,informer 缓存兑现「可用 + 可扩展」,逻辑序兑现「无全局时钟下的因果正确」。没有哪个机制是孤立的算法炫技。
把五个挑战浓缩成一张速查表,就是后面所有章节的索引:
| 挑战 | K8s 真实场景 | 核心机制 | 章节 / lab |
|---|---|---|---|
| 部分失败 | apiserver 写 etcd 超时,成败未知 | 幂等重试、声明式期望状态 | 第 2 章 / raft、store |
| 网络不可靠 | kubelet 失联,40s 判 NotReady | 心跳、lease、宽限期 | 第 4–5 章 / raft |
| 时钟不同步 | resourceVersion 排序而非时间戳 | 逻辑序、HLC | 第 3 章 / clock |
| 并发与竞态 | 多个控制器同时改同一对象 | resourceVersion 乐观并发 | 第 2 章 / store、mvcc |
| 状态复制困难 | 集群状态跨 etcd 副本保持一致 | Raft 日志复制 + mvcc | 第 4–5 章 / raft |
这张表也会随章节推进不断补充细节,最终在卷末变成一张完整的「挑战 × 机制 × 用例」对照。
分布式系统是系统工程,不是算法堆叠
把上面的挑战读进脑子之后,一个反直觉的事实浮现出来:生产系统里分布式的大部分工作不是算法,而是工程。
算法解决「在给定假设下有没有解、怎么解」;工程解决「假设不成立时怎么办」。真实 K8s 集群里的故障,几乎都不是「算法被证明错了」,而是:超时设太短、重试风暴、watch 断连后 relist 的背压、乐观锁冲突太多、时钟漂移导致时间戳异常、磁盘 fsync 太慢拖垮 leader……这些没有一个是理论能替你决定的,全部要按现实调参数、设上限、加保护。
拿 apiserver 的写路径举例:etcd 写失败后要不要重试、退避多久、几轮封顶,apiserver 对慢 etcd 的告警阈值定在哪——这些都不是算法论文里的内容,而是生产集群每天都在处理的参数。一个机制要能在生产里站住脚,必须同时回答「正确性」和「故障下还怎么工作」两个问题;后者的答案几乎全是工程。
这也是本书反复强调「可运行」的原因:一个机制如果没法用能改参数的仿真验证,你对它的理解就停留在「听说过」层面。lab 的意义就在这里。
带着这张地图读下一节:第 1.3 节给出四卷路线图与四个 lab 工程的布局,说明每个挑战会在哪一章、哪个 lab 里被正面处理。从第 2 章开始,我们不再停留在「挑战是什么」,而是逐个给出「机制怎么做」。
本节 lab
本节不写新代码,只说明 lab 会怎样把上面的挑战变成可运行验证。k8s-etcd-lab 目前有三个包,恰好对应挑战三、四、五:
| lab 包 | 验证的挑战 | 现有用例 |
|---|---|---|
clock | 挑战三:无全局时钟下的因果序与并发检测 | 3 个:Lamport 时钟、向量时钟、HLC |
consistency | 挑战一/二:分区下的一致性模型与 CAP 取舍 | 3 个:线性一致读、最终一致滞后窗口、CAP 分区权衡 |
raft | 挑战五(及二):选举、日志复制、quorum、FLP | 7 个:quorum 数学、提交轮数、选举、选举限制、pre-vote、FLP |
当前三包 13 个用例全绿,验证命令就是贯穿全书的那个:
cd private/labs/k8s-etcd-lab
go test ./... -v
「验证」的准确含义是:每个用例断言的是真实运行输出。例如 raft 的 TestQuorumMath 断言 5 副本的提交阈值是 3、容忍故障数是 2;TestFLPSingleFaultNoTermination 用完全隔离的异步网络演示单点故障下协议无法终止。这些结论不来自静态阅读,而来自 go test 的实际判定。
每个 --- PASS 都意味着仿真里的不变量在那一轮随机种子下被真实满足;把种子改掉再跑一遍,看到同样的 PASS,才算把「挑战」变成了「可复算的验证」。
挑战一(部分失败)与挑战二(网络分区)的更多仿真(消息丢失、超时重试、pre-vote 隔离)会随第 4–5 章收尾进入 raft 包;挑战四(并发竞态)的 mvcc revision 冲突仿真,以及 watch 与 lease,按 lab 计划(store/mvcc、watcher、lease)在后续批次加入。到卷末,k8s-etcd-lab 会扩充到 45 个用例。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。