15.2 分布式系统设计原则清单
第 15.1 节把四卷书浓缩成五条主线,回答的是「K8s 怎么做的」。本节再压一级,把五条主线转成五条设计原则,回答「你应该怎么做」。主线是观察,原则是规范——主线描述已有系统的机制,原则约束你正在设计的新系统。
五条原则分别对应五个可开关的特性:多数派才承诺对应仲裁写、隔离旧 Leader 对应领导者隔离、读可判新旧 对应版本化读、副本分散故障域 对应跨域副本、可重试 对应幂等重试。把五条原则连成一张检查表,就能对任意分布式系统设计做一次「原则审计」。
这里要区分两件事:设计走查是人与人讨论「这样做合不合理」,靠经验,容易漏;原则审计是把设计拆成特性开关,逐条对着判据核对「这条过了没有」,可机械化、可回归。本节给的是后者——它不是替代架构评审,而是让评审有一个不依赖人记忆的底稿。
从主线到原则:五条对应关系
| 15.1 主线 | 15.2 设计原则 | 特性开关 | 一句话判据 |
|---|---|---|---|
| 状态机复制 | 多数派才承诺 | quorum-writes | 写未过多数派,承诺无保证 |
| 共识与选举 | 隔离旧 Leader | leader-fencing | 失联 Leader 未隔离,存在双主风险 |
| watch/事件流 | 读可判新旧 | versioned-reads | 读无版本号,无法判断是否最新 |
| 一致性边界 | 副本分散故障域 | cross-zone-replicas | 副本同域,单域宕机丢多数派 |
| 声明式 API 与负反馈 | 可重试 | idempotent-retry | 重试可能重复执行,破坏幂等 |
这张表是本节的地图:每条原则都从一个真实组件里提炼出来,又能套回任何自研系统。 下面逐条展开,每条给「K8s 里是谁、违背会怎样、怎么自查」。
原则一:多数派才承诺
K8s 载体:etcd 的 Raft 写入。特性开关:quorum-writes。
承诺(acknowledge)是分布式系统里最贵的东西:一旦对客户端说「成功了」,就必须能兑现「数据不丢」。Raft 的兑现方式是把「成功」定义为日志被多数派节点提交——此时即使 Leader 当场崩溃,数据也已在过半节点上,不会丢。
违背这条原则的最常见设计是「写单节点数据库、回执即成功」:应用层写进单点存储返回 OK,可单点一宕机,已回执的数据随进程一起消失。另一个隐蔽版本是「写只到 Leader 就返回,没等复制」——这在 Raft 里等于没写。自查时问一句:我返回成功的那个动作,数据到达了几个副本?
| 设计 | 返回 OK 时数据在哪 | 判定 |
|---|---|---|
| 写单点 SQLite 返回 OK | 1 个进程内存/磁盘 | 违背 |
| 写 Raft Leader 即返回 | Leader 本地,未复制 | 违背 |
| 写 Raft Leader,多数派提交后返回 | ≥ 半数节点 | 符合 |
原则二:隔离旧 Leader
K8s 载体:控制面 Lease 选主与 Raft 任期。特性开关:leader-fencing。
主备切换最危险的时刻不是「新主上任」,而是「旧主还活着却没及时让位」。网络分区时旧主往往仍能写、新主也想写——两个写者同时存在,就是脑裂。隔离(fencing)的意思是:旧 Leader 必须被系统性地剥夺写入资格,而不是靠它自觉退出。
Raft 用任期号隔离:旧 Leader 的请求带旧任期,被新 Leader 拒绝。Lease 用「过期即失效」隔离:旧持有者无法续租,写入凭据失效。实现层的隔离 token 更直接:每次选主都生成新的 fencing token,旧 token 的写一律拒绝。自查时问一句:如果旧 Leader 失联 30 秒后复活,它还能写入吗? 若答案是「能」,这条原则被违背。
隔离有强弱之分,值得排个序:
| 隔离层次 | 机制 | 强度 |
|---|---|---|
| 自觉退出 | 旧主「自觉」让位,不做强制 | 最弱,旧主可能不配合 |
| 租约过期 | 续租失败即失效,凭据自然过期 | 中,靠时间约束 |
| 任期/版本号 | 旧任期的请求被拒,写入带版本门槛 | 强 |
| 分布式锁 + token | 锁释放才可写,每次写入校验 token | 最强 |
自研系统往往从「自觉退出」起步,遇到一次双主事故后升级到租约或 token。原则审计的用处就是把这个升级提前到事故之前。
原则三:读可判新旧
K8s 载体:resourceVersion 与 etcd 的 revision。特性开关:versioned-reads。
分布式系统里「读到什么」比「能否读到」更难判断。无版本的读只回答「我读到了值」,不回答「这个值新不新、旧到什么程度」。版本号让每个读带上时间标尺:K8s 的 resourceVersion 既能衔接 watch 增量,又能做乐观并发控制——写请求带上期望版本,版本对不上即冲突,拒绝覆盖。
违背这条原则的设计是「缓存读到什么都直接返回,不带版本」:客户端无法判断缓存是不是过期,也无法在并发写时发现自己的修改被覆盖。自查时问一句:客户端能说出「我读到的值是在哪个版本之后产生的」吗? 不能,就没有版本化读。
版本号在分布式系统里有三种典型用途,都源自 K8s 的 resourceVersion:
| 用途 | 机制 | K8s 实例 |
|---|---|---|
| 判断新旧 | 版本越大越新,客户端比较版本 | watch 增量追读 |
| 衔接增量 | 从某版本起读,不重不漏 | informer 重连恢复 |
| 乐观并发 | 写带期望版本,冲突即拒绝 | Deployment 更新冲突 |
同一种版本号机制,同时支撑了读的「可判新旧」与写的「并发安全」,这是它被反复使用的原因。
原则四:副本分散故障域
K8s 载体:Pod 拓扑约束、跨区副本、PDB。特性开关:cross-zone-replicas。
多数派保障的前提是「副本故障相互独立」。若三个副本都挂在同一机架、同一可用区,一次机架断电就把多数派一锅端——多数派设计形同虚设。分散故障域是把「N 个副本」变成「N 个独立失效单元」的前提。
K8s 用 topologySpreadConstraints 把副本打散到不同拓扑域,用 PodDisruptionBudget 约束自愿驱逐,本卷第 8 章的跨节点复制让副本分布在不同节点。自查时问一句:一次单一故障(机架断电、可用区宕机)会同时带走多少个副本? 带走过半,这条原则被违背。
| 副本分布 | 单故障带走副本数 | 判定 |
|---|---|---|
| 3 副本同机架 | 3(过半) | 违背 |
| 3 副本跨机架同可用区 | 3(若可用区整体宕机) | 违背 |
| 3 副本跨可用区 | 1 | 符合 |
原则五:可重试(幂等)
K8s 载体:workqueue 重试与控制器幂等调谐。特性开关:idempotent-retry。
网络不可靠,重试不可避免。重试本身不是问题,重试导致重复执行才是问题。幂等的含义是:同一个操作执行一次与执行 N 次,对外部世界的影响相同。K8s 控制器的调谐天然幂等——「确保期望 5 个 Pod」执行多少次都是确保 5 个,重复调谐不会多建 Pod。
违背这条原则的设计是「非幂等动作无保护重试」:扣款接口重试变双倍扣款,建单接口重试变重复建单。补救手段要么让操作本身幂等(按业务键去重),要么给请求带幂等键让服务端去重。自查时问一句:客户端超时后重发同一个请求,系统会重复执行副作用吗? 会,就违背。
「操作幂等」与「请求幂等」是两个层面的兜底,最好都做:
| 兜底层 | 做法 | 例子 |
|---|---|---|
| 操作幂等 | 重复执行结果相同 | 调谐「确保 5 副本」 |
| 请求幂等 | 相同请求只生效一次 | 扣款请求带幂等键去重 |
K8s 的控制器两样都有:调谐本身幂等,workqueue 对同一对象延迟重试、失败指数退避。把重试从「隐患」变成「能力」的前提,就是这两层至少有一层在。
原则审计:Audit 尺子怎么用
五条原则不是「建议采纳」,而是「必须逐条核对」。lab 里的 Audit 函数就是这把尺子:给定一个设计(一组特性开关)与原则清单,返回所有被违背的原则名。
good := map[Feature]bool{
FeatQuorumWrites: true, FeatLeaderFencing: true, FeatVersionedReads: true,
FeatCrossZoneReplicas: true, FeatIdempotentRetry: true,
}
Audit(good, Principles) // [],好设计零违规
审计的语义是缺什么就报什么:特性开了,该原则通过;特性没开,返回对应违背说明。一组什么都不开的设计(空开关集合),审计会报出多条违规——这正好用于给「什么都还没做」的原型做体检。
好设计与坏设计对照
| 维度 | 好设计 | 坏设计 |
|---|---|---|
| 写路径 | 多数派确认后才回执 | 写单点即回执 |
| 主备切换 | 旧 Leader 被隔离,token 失效 | 旧主复活仍能写 |
| 读路径 | 读带版本,能判新旧 | 无版本缓存直接返回 |
| 副本布局 | 跨故障域分布 | 全部集中一个机架 |
| 重试 | 幂等操作 + 去重 | 非幂等裸重试 |
| 审计结果 | 零违规 | 多条违规 |
对一个已有系统做审计,从「开关清单」开始最省事:把系统当前的五个特性挨个打勾,然后看哪些原则被违背。审计的目的不是羞辱旧系统,而是把「哪里没做」变成可执行的修复清单。
把审计写进设计文档的模板可以是这样的五步:
- 列开关:逐条回答「这个特性开了没有」,如实打勾,不掩饰。
- 跑审计:对着五条判据逐条核对,记录每一条违背的理由。
- 分优先级:违背项按「数据会丢 / 会脑裂 / 会读到旧值 / 会双写 / 会重复副作用」排级。
- 定修复:每项违背给一个具体修复动作,写进迭代计划。
- 回归:修复后再跑一次审计,确认该项从「违背」变「通过」。
这五步不需要评审会议就能执行,是审计能「随身携带」的原因。
常见坏设计案例:缺一项特性的代价
| 缺失特性 | 典型症状 | 现实事故 |
|---|---|---|
| 缺仲裁写 | 写库返回成功,主库宕机丢数据 | 单点存储当真相源 |
| 缺隔离旧 Leader | 主备切换后两边同时写 | 脑裂双主,数据分叉 |
| 缺版本化读 | 缓存读无法判新旧 | 读到过期配置 |
| 缺跨域副本 | 一个可用区宕机全挂 | 单可用区部署 |
| 缺幂等重试 | 重试造成重复副作用 | 重复扣款/重复建单 |
每一项缺失都能在四卷书的某个真实组件上找到反面教材——这也说明五条原则不是书斋里的教条,而是对真实事故的归纳。
三个常见误解
- 「分布式系统的可靠性靠冗余硬件堆出来,和设计无关」——错误。冗余只有在副本分散故障域、多数派提交、旧 Leader 隔离这些设计到位时才有意义;设计错了,三副本和单副本一样会丢数据。
- 「审计是上线前的评审动作,做一次就完」——错误。设计是演进中的:加副本、加缓存、切换主备都可能无意中违背某条原则。审计应随每次架构变更重跑。
- 「五条原则是五选一,满足两条就算合格」——错误。它们是「与」关系不是「或」关系,缺任何一条都会在特定故障下暴露。好设计的定义就是五条全部通过。
一句话总结本节
五条主线压成五条设计原则——多数派才承诺、隔离旧 Leader、读可判新旧、副本分散故障域、可重试——每一条都是一句可执行的判据,用 Audit 尺子对设计做「缺什么报什么」的逐条体检。设计的可靠性不是堆出来的,是审出来的。
下一节把原则落地成行动:当你把从 K8s 学到的机制迁移到自研分布式系统时,数据真相源怎么保持、分阶段怎么切流、双写窗口怎么避免。
本节 lab
本节对应 review 包的四个测试,共同演示「好设计零违规、坏设计多违规、单项缺失可被精准命中」:
cd private/labs/k8s-net-lab
go test ./review -run 'TestGoodDesignPassesAudit|TestBadDesignViolations|TestMissingFencingDetected|TestCollapsedFaultDomainDetected' -v
TestGoodDesignPassesAudit:五个特性全开,断言Audit返回空——1 个断言,验证好设计零违规。TestBadDesignViolations:空开关集合(什么都没做),断言违规至少 3 条——1 个断言,验证裸设计被审计出多条问题。TestMissingFencingDetected:开了仲裁写与版本读但没开隔离旧 Leader,断言审计结果里出现「隔离旧 Leader」——1 个断言,验证单项缺失被精准命中。TestCollapsedFaultDomainDetected:开了四项唯独没开跨域副本,断言命中「副本分散故障域」——1 个断言,验证故障域收敛缺失被独立检出。
四个测试各 1 个断言,跑完见 ok k8s-net-lab/review。这把「特性开关 → 违规清单」的尺子,就是本节原则审计的机械化实现。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。