《Kubernetes 分布式系统原理深入解析》8.2 分片与副本在 K8s 的表达(CRD 层面)

单份数据的复制组讲完,数据再被按 key 拆成分片、每片多副本,就形成分片集合。K8s 没有内建分片资源,要靠 CRD 把分片集合、主从结构与副本落点声明化,再交给 Operator 消费。本节剖析 ShardSet 表达与主副本读、故障读回退语义,lab 用 stateful 包的 ReplicaSet.Read 验证主副本健康读主、主故障回退存活副本、全故障不可读三条路径。

8.2 分片与副本在 K8s 的表达(CRD 层面)

8.1 节把「一个复制组怎么放置」讲完。但现实的有状态系统很少只有一个复制组——数据量大了要分片:按 key 把数据拆成多个分片,每个分片各自持有一组副本。于是问题变成:K8s 里怎么表达「N 个分片、每片 M 个副本、谁在主」这个结构?本节答案:CRD 把分片集合声明化,Operator 把它物化。

为什么 K8s 没有内建「分片」资源

K8s 内建资源里没有「Shard」。StatefulSet 表达「一组有序副本」,Service 表达「一组后端」,但它们都不知道数据被拆成了几片、每片的主在哪。分片语义与应用强相关——MongoDB 按 shard key 分片、Kafka 按 partition 分片、数据库按 range 或 hash 分片——K8s 无法抽象一个通用分片,于是把表达权下放给 CRD:应用自己定义一个分片集合的声明式描述,再写一个 Operator 去执行。

这也是卷二 13 章 CRD 机制与本书的分工点:卷二讲 CRD 怎么被 etcd 存储、怎么版本转换;本节讲用一个 CRD 承载分片集合这个领域模型。CRD 的价值不在存储,而在「把分片拓扑变成一等公民,让控制器能 watch、能 reconcile」。

ShardSet:把分片集合声明化

一个典型的分片集合 CRD 长这样(以 range 分片为例):

apiVersion: shard.example.io/v1
kind: ShardSet
metadata:
  name: users-shardset
spec:
  shards:
    - id: shard-0
      keyRange: "[0, 10000)"
      replicas: 3
      primaryReplica: 0
    - id: shard-1
      keyRange: "[10000, 20000)"
      replicas: 3
      primaryReplica: 0
status:
  readyShards: 2
  observedGeneration: 3

关键点:spec 是期望态,status 是实际态。分片 id、key 范围、副本数、主副本下标都写进 spec;各分片是否就绪、与控制面看到的是哪个 generation,写进 status。这个结构与卷二讲过的声明式 API 完全同构——Operator 的循环就是「比较 spec 与 status,拉近」。

本节 lab 的 Shard 是这份 CRD 的内存简化版:ID、Key、Replica []string(nodeID 列表)、Primary int(当前主副本下标)。CRD 到内存模型的映射是一一对应的,后续 8.3 的 Operator 直接在它上面跑。

分片键:hash 还是 range

ShardSet 的 keyRange 字段背后,是先于 CRD 的一个设计决策——用什么键、什么方式分片。两种主流方式对 CRD 表达有直接影响:

维度hash 分片range 分片
数据分布散列打散,基本均匀按 key 区间切,可能偏斜
范围查询必须跨所有分片聚合单片内友好,可裁剪
写热点均匀写多片顺序写集中到尾部一片
CRD 表达keyRange 换成 hash bucket 区间keyRange 直接写键区间

无论选哪种,有个不变的事实:单个热点 key 只能落在一个分片——分片是热点隔离的最小单元,热点 key 所在分片再平衡也没用。所以分片键要选高基数、分布均匀的字段(用户 id、订单 id),而不是低基数的枚举字段。

分片键对扩容的影响也要在 CRD 层提前想清:range 分片扩容要改 keyRange 边界并搬数据,hash 分片扩容要改 bucket 数并整体 rehash——两者都意味着rebalance,常常需要停写或双写过渡。选型错误的分片键在运行期几乎无法低成本纠正,这是 CRD 表达之前就该定的事。

主从结构:谁在写,谁在读

分片内是典型的主从复制结构:一个主副本(primary)负责写与一致读,其余副本负责同步复制与分担读。

角色职责是否参与写提交
主副本(primary)接收写、下发复制、提供一致读是(入口)
从副本(replica)接收主的下发、提供读、故障转移目标是(同步/半同步)

主从结构把「分片的一致性问题」收窄成「主副本上做决定」:同一时刻一个分片只有一个主,写冲突天然被串行化;副本之间通过复制协议对齐数据。这也决定了读路径的语义——读主副本是强一致读,读从副本则可能是旧数据(下一小节展开)。

读路径三态:读主、回退从、不可读

lab 的 ReplicaSet.Read 把分片读路径压成三个状态:

if !failed[replica[primary]] { return replica[primary] }   // 主健康 → 读主
for _, n := range replica { if !failed[n] { return n } }   // 主故障 → 回退存活副本
return ""                                                  // 全故障 → 不可读

三个状态对应真实系统里的三条语义:

状态返回一致性档位
主副本健康主副本强一致(读你所写)
主副本故障、有存活副本第一个存活副本最终一致(可能读到主还没下发的写)
全部副本故障空(不可读)拒绝服务

注意中间态的代价:主故障后回退读从副本,代价是可能读到旧数据——主上有但复制还没到从上的写,这次读看不到。数据库把这种读叫「stale read」。工程上的取舍是:能接受短暂陈旧就回退读,不能接受就必须等新的主选出来(8.3 的 failover 之后读新主)。「读从副本回退」是把可用性优先于一致性的选择,不是免费特性。

分片级健康 vs 副本级健康

8.1 节的 Quorum 判定是「复制组」级的;分片场景把粒度再细分:

健康粒度判定内容谁关心
节点健康某节点是否存活调度器、Kubelet
副本健康某分片在某节点上的副本是否可用分片副本归属
分片健康该分片主副本 + 多数派副本是否可用读写路由

lab 的 failed map[string]bool 表达的是节点级故障:一个节点 failed,它承载的所有分片副本一起不可用。Read 不看副本自身状态,只看它所在的节点是否活着——这又是分布式系统的典型简化:副本故障不可直接观测,只能用「所在节点故障」近似。真实系统会在副本级加心跳,但大多数时候节点故障是副本不可用的主要来源。

分片集合的生命周期:CRD + Operator 的分工

把分片集合装进 CRD 后,生命周期由谁驱动?

事件CRD 表达Operator 动作
新建分片集合创建 ShardSet为每片创建 StatefulSet + headless Service
扩一个分片spec.shards 加一项新增对应 StatefulSet,等就绪后写 status
缩副本数spec.shards[].replicas 改小缩 StatefulSet 副本
主副本变更status 与 spec 不一致触发 failover(8.3 节)

这条分工线就是本卷一直强调的声明式闭环:CRD 保存期望,Operator 收敛实际。ShardSet 本身是「干」的,它不跑数据,只是一个被 etcd 持久化的声明;真正的执行者是 operator 为每个分片物化出来的 StatefulSet。

CRD 表达的边界:存储层无感知

必须清醒的一点:CRD 只表达「分片集合长什么样」,不保证底层数据真的被那样分片。一个 ShardSet 声明 2 个分片、每片 3 副本,只是说「请按这个拓扑部署」;真正把 key 路由到对应分片、把写复制到副本,是应用层或专用数据面的事,CRD 管不到。这也是 CRD 方案与「数据库自带分片」的差别:

方案分片表达数据路由谁来保证
K8s CRD + OperatorShardSet 资源应用/网关路由Operator 只保证拓扑
数据库原生分片内置 shard key数据库内部数据库自己

选择 CRD 方案意味着自己拥有分片语义,也自己承担路由与一致性——适合「要分片但不想被特定数据库绑定」的场景;选了它,8.3 的 failover 与自愈就必须一起做。

跨分片操作的一致性边界

分片把大表拆成多片,也把「一次事务」拆成了「多次跨片操作」:

操作单分片内跨分片
单 key 读写主副本决定,无协调不涉及
范围扫描单片内有序各片结果合并,顺序与一致性都弱
跨 key 事务片内原子需要分布式事务(2PC / 补偿)

跨分片的一致没有免费:要么引入分布式事务协调器(昂贵且降低可用性),要么接受最终一致加应用层补偿。多数系统的务实做法是把事务压进单分片——分片键选得好,同一用户的多个相关 key 落在同一分片,跨片事务就退化成片内事务。这条边界提醒:分片不是纯性能红利,它把一致性问题的范围从「整个数据集」缩小到「一个分片」,但并没有消灭一致性问题。

三个常见误解

  • 「分片集合 CRD 创建完,数据就自动被分片了」——错误。CRD 只是声明期望拓扑;把 key 路由到分片、把写复制到副本,由 Operator 物化的数据面与应用层路由完成。
  • 「主副本故障时回退读从副本,读到的数据总是新的」——错误。从副本可能落后于主,回退读是可用性优先的选择,可能读到主尚未下发的旧数据。
  • 「CRD 分片方案与数据库原生分片一样可靠」——错误。CRD 只保证拓扑被声明与物化,分片路由与一致性边界要应用层自己扛,比数据库内置实现更脆弱。

一句话总结本节

分片与副本在 K8s 的表达路径是 ShardSet CRD 声明分片拓扑(分片 id、key 范围、副本列表、主副本下标),Operator 把它物化成每个分片的 StatefulSet;分片内主从结构决定读路径三态——主健康读主、主故障回退存活从副本、全故障拒绝服务,回退读以接受短暂陈旧为代价换可用性。

下一节把这些静态表达动起来:主副本故障时如何切换、副本不足时如何补齐——Operator 视角的故障转移与自愈。

本节 lab

本节把「分片读路径三态」落到 stateful 包的 ReplicaSet.Read:

cd private/labs/k8s-net-lab
go test ./stateful -run TestReadFallsBackToReplica -v

TestReadFallsBackToReplica 构造一个 3 副本分片(n1/n2/n3,主为 n1),分三次调用 Read 断言三个状态,共 3 个断言:

  • 主副本健康(failed 为空):返回 n1——对应「主健康读主」。
  • 主副本 n1 故障:返回 n2——对应「主故障回退到存活副本」。
  • 三个副本全部故障:返回空串——对应「全故障不可读,拒绝服务」。

运行见 ok k8s-net-lab/stateful。Read 的 20 行逻辑就是本节「读主 / 回退从 / 不可读」三态语义的最小落地——CRD 表达静态拓扑,这三态就是它在读路径上的动态投影。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图