《Kubernetes 分布式系统原理深入解析》15.2 分布式系统设计原则清单

把 15.1 的五条主线压成五条可执行的设计原则——多数派才承诺、隔离旧 Leader、读可判新旧、副本分散故障域、可重试(幂等),并给出一把审计好/坏设计的 checklist 尺子。lab 用 review 包四个测试验证好设计零违规、裸设计违规多条、缺隔离与缺跨域副本各被审计命中。

15.2 分布式系统设计原则清单

第 15.1 节把四卷书浓缩成五条主线,回答的是「K8s 怎么做的」。本节再压一级,把五条主线转成五条设计原则,回答「你应该怎么做」。主线是观察,原则是规范——主线描述已有系统的机制,原则约束你正在设计的新系统。

五条原则分别对应五个可开关的特性:多数派才承诺对应仲裁写、隔离旧 Leader 对应领导者隔离、读可判新旧 对应版本化读、副本分散故障域 对应跨域副本、可重试 对应幂等重试。把五条原则连成一张检查表,就能对任意分布式系统设计做一次「原则审计」。

这里要区分两件事:设计走查是人与人讨论「这样做合不合理」,靠经验,容易漏;原则审计是把设计拆成特性开关,逐条对着判据核对「这条过了没有」,可机械化、可回归。本节给的是后者——它不是替代架构评审,而是让评审有一个不依赖人记忆的底稿。

从主线到原则:五条对应关系

15.1 主线15.2 设计原则特性开关一句话判据
状态机复制多数派才承诺quorum-writes写未过多数派,承诺无保证
共识与选举隔离旧 Leaderleader-fencing失联 Leader 未隔离,存在双主风险
watch/事件流读可判新旧versioned-reads读无版本号,无法判断是否最新
一致性边界副本分散故障域cross-zone-replicas副本同域,单域宕机丢多数派
声明式 API 与负反馈可重试idempotent-retry重试可能重复执行,破坏幂等

这张表是本节的地图:每条原则都从一个真实组件里提炼出来,又能套回任何自研系统。 下面逐条展开,每条给「K8s 里是谁、违背会怎样、怎么自查」。

原则一:多数派才承诺

K8s 载体:etcd 的 Raft 写入。特性开关:quorum-writes。

承诺(acknowledge)是分布式系统里最贵的东西:一旦对客户端说「成功了」,就必须能兑现「数据不丢」。Raft 的兑现方式是把「成功」定义为日志被多数派节点提交——此时即使 Leader 当场崩溃,数据也已在过半节点上,不会丢。

违背这条原则的最常见设计是「写单节点数据库、回执即成功」:应用层写进单点存储返回 OK,可单点一宕机,已回执的数据随进程一起消失。另一个隐蔽版本是「写只到 Leader 就返回,没等复制」——这在 Raft 里等于没写。自查时问一句:我返回成功的那个动作,数据到达了几个副本?

设计返回 OK 时数据在哪判定
写单点 SQLite 返回 OK1 个进程内存/磁盘违背
写 Raft Leader 即返回Leader 本地,未复制违背
写 Raft Leader,多数派提交后返回≥ 半数节点符合

原则二:隔离旧 Leader

K8s 载体:控制面 Lease 选主与 Raft 任期。特性开关:leader-fencing。

主备切换最危险的时刻不是「新主上任」,而是「旧主还活着却没及时让位」。网络分区时旧主往往仍能写、新主也想写——两个写者同时存在,就是脑裂。隔离(fencing)的意思是:旧 Leader 必须被系统性地剥夺写入资格,而不是靠它自觉退出。

Raft 用任期号隔离:旧 Leader 的请求带旧任期,被新 Leader 拒绝。Lease 用「过期即失效」隔离:旧持有者无法续租,写入凭据失效。实现层的隔离 token 更直接:每次选主都生成新的 fencing token,旧 token 的写一律拒绝。自查时问一句:如果旧 Leader 失联 30 秒后复活,它还能写入吗? 若答案是「能」,这条原则被违背。

隔离有强弱之分,值得排个序:

隔离层次机制强度
自觉退出旧主「自觉」让位,不做强制最弱,旧主可能不配合
租约过期续租失败即失效,凭据自然过期中,靠时间约束
任期/版本号旧任期的请求被拒,写入带版本门槛强
分布式锁 + token锁释放才可写,每次写入校验 token最强

自研系统往往从「自觉退出」起步,遇到一次双主事故后升级到租约或 token。原则审计的用处就是把这个升级提前到事故之前。

原则三:读可判新旧

K8s 载体:resourceVersion 与 etcd 的 revision。特性开关:versioned-reads。

分布式系统里「读到什么」比「能否读到」更难判断。无版本的读只回答「我读到了值」,不回答「这个值新不新、旧到什么程度」。版本号让每个读带上时间标尺:K8s 的 resourceVersion 既能衔接 watch 增量,又能做乐观并发控制——写请求带上期望版本,版本对不上即冲突,拒绝覆盖。

违背这条原则的设计是「缓存读到什么都直接返回,不带版本」:客户端无法判断缓存是不是过期,也无法在并发写时发现自己的修改被覆盖。自查时问一句:客户端能说出「我读到的值是在哪个版本之后产生的」吗? 不能,就没有版本化读。

版本号在分布式系统里有三种典型用途,都源自 K8s 的 resourceVersion:

用途机制K8s 实例
判断新旧版本越大越新,客户端比较版本watch 增量追读
衔接增量从某版本起读,不重不漏informer 重连恢复
乐观并发写带期望版本,冲突即拒绝Deployment 更新冲突

同一种版本号机制,同时支撑了读的「可判新旧」与写的「并发安全」,这是它被反复使用的原因。

原则四:副本分散故障域

K8s 载体:Pod 拓扑约束、跨区副本、PDB。特性开关:cross-zone-replicas。

多数派保障的前提是「副本故障相互独立」。若三个副本都挂在同一机架、同一可用区,一次机架断电就把多数派一锅端——多数派设计形同虚设。分散故障域是把「N 个副本」变成「N 个独立失效单元」的前提。

K8s 用 topologySpreadConstraints 把副本打散到不同拓扑域,用 PodDisruptionBudget 约束自愿驱逐,本卷第 8 章的跨节点复制让副本分布在不同节点。自查时问一句:一次单一故障(机架断电、可用区宕机)会同时带走多少个副本? 带走过半,这条原则被违背。

副本分布单故障带走副本数判定
3 副本同机架3(过半)违背
3 副本跨机架同可用区3(若可用区整体宕机)违背
3 副本跨可用区1符合

原则五:可重试(幂等)

K8s 载体:workqueue 重试与控制器幂等调谐。特性开关:idempotent-retry。

网络不可靠,重试不可避免。重试本身不是问题,重试导致重复执行才是问题。幂等的含义是:同一个操作执行一次与执行 N 次,对外部世界的影响相同。K8s 控制器的调谐天然幂等——「确保期望 5 个 Pod」执行多少次都是确保 5 个,重复调谐不会多建 Pod。

违背这条原则的设计是「非幂等动作无保护重试」:扣款接口重试变双倍扣款,建单接口重试变重复建单。补救手段要么让操作本身幂等(按业务键去重),要么给请求带幂等键让服务端去重。自查时问一句:客户端超时后重发同一个请求,系统会重复执行副作用吗? 会,就违背。

「操作幂等」与「请求幂等」是两个层面的兜底,最好都做:

兜底层做法例子
操作幂等重复执行结果相同调谐「确保 5 副本」
请求幂等相同请求只生效一次扣款请求带幂等键去重

K8s 的控制器两样都有:调谐本身幂等,workqueue 对同一对象延迟重试、失败指数退避。把重试从「隐患」变成「能力」的前提,就是这两层至少有一层在。

原则审计:Audit 尺子怎么用

五条原则不是「建议采纳」,而是「必须逐条核对」。lab 里的 Audit 函数就是这把尺子:给定一个设计(一组特性开关)与原则清单,返回所有被违背的原则名。

good := map[Feature]bool{
    FeatQuorumWrites: true, FeatLeaderFencing: true, FeatVersionedReads: true,
    FeatCrossZoneReplicas: true, FeatIdempotentRetry: true,
}
Audit(good, Principles) // [],好设计零违规

审计的语义是缺什么就报什么:特性开了,该原则通过;特性没开,返回对应违背说明。一组什么都不开的设计(空开关集合),审计会报出多条违规——这正好用于给「什么都还没做」的原型做体检。

好设计与坏设计对照

维度好设计坏设计
写路径多数派确认后才回执写单点即回执
主备切换旧 Leader 被隔离,token 失效旧主复活仍能写
读路径读带版本,能判新旧无版本缓存直接返回
副本布局跨故障域分布全部集中一个机架
重试幂等操作 + 去重非幂等裸重试
审计结果零违规多条违规

对一个已有系统做审计,从「开关清单」开始最省事:把系统当前的五个特性挨个打勾,然后看哪些原则被违背。审计的目的不是羞辱旧系统,而是把「哪里没做」变成可执行的修复清单。

把审计写进设计文档的模板可以是这样的五步:

  1. 列开关:逐条回答「这个特性开了没有」,如实打勾,不掩饰。
  2. 跑审计:对着五条判据逐条核对,记录每一条违背的理由。
  3. 分优先级:违背项按「数据会丢 / 会脑裂 / 会读到旧值 / 会双写 / 会重复副作用」排级。
  4. 定修复:每项违背给一个具体修复动作,写进迭代计划。
  5. 回归:修复后再跑一次审计,确认该项从「违背」变「通过」。

这五步不需要评审会议就能执行,是审计能「随身携带」的原因。

常见坏设计案例:缺一项特性的代价

缺失特性典型症状现实事故
缺仲裁写写库返回成功,主库宕机丢数据单点存储当真相源
缺隔离旧 Leader主备切换后两边同时写脑裂双主,数据分叉
缺版本化读缓存读无法判新旧读到过期配置
缺跨域副本一个可用区宕机全挂单可用区部署
缺幂等重试重试造成重复副作用重复扣款/重复建单

每一项缺失都能在四卷书的某个真实组件上找到反面教材——这也说明五条原则不是书斋里的教条,而是对真实事故的归纳。

三个常见误解

  • 「分布式系统的可靠性靠冗余硬件堆出来,和设计无关」——错误。冗余只有在副本分散故障域、多数派提交、旧 Leader 隔离这些设计到位时才有意义;设计错了,三副本和单副本一样会丢数据。
  • 「审计是上线前的评审动作,做一次就完」——错误。设计是演进中的:加副本、加缓存、切换主备都可能无意中违背某条原则。审计应随每次架构变更重跑。
  • 「五条原则是五选一,满足两条就算合格」——错误。它们是「与」关系不是「或」关系,缺任何一条都会在特定故障下暴露。好设计的定义就是五条全部通过。

一句话总结本节

五条主线压成五条设计原则——多数派才承诺、隔离旧 Leader、读可判新旧、副本分散故障域、可重试——每一条都是一句可执行的判据,用 Audit 尺子对设计做「缺什么报什么」的逐条体检。设计的可靠性不是堆出来的,是审出来的。

下一节把原则落地成行动:当你把从 K8s 学到的机制迁移到自研分布式系统时,数据真相源怎么保持、分阶段怎么切流、双写窗口怎么避免。

本节 lab

本节对应 review 包的四个测试,共同演示「好设计零违规、坏设计多违规、单项缺失可被精准命中」:

cd private/labs/k8s-net-lab
go test ./review -run 'TestGoodDesignPassesAudit|TestBadDesignViolations|TestMissingFencingDetected|TestCollapsedFaultDomainDetected' -v
  • TestGoodDesignPassesAudit:五个特性全开,断言 Audit 返回空——1 个断言,验证好设计零违规。
  • TestBadDesignViolations:空开关集合(什么都没做),断言违规至少 3 条——1 个断言,验证裸设计被审计出多条问题。
  • TestMissingFencingDetected:开了仲裁写与版本读但没开隔离旧 Leader,断言审计结果里出现「隔离旧 Leader」——1 个断言,验证单项缺失被精准命中。
  • TestCollapsedFaultDomainDetected:开了四项唯独没开跨域副本,断言命中「副本分散故障域」——1 个断言,验证故障域收敛缺失被独立检出。

四个测试各 1 个断言,跑完见 ok k8s-net-lab/review。这把「特性开关 → 违规清单」的尺子,就是本节原则审计的机械化实现。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图