3.1 物理时钟、NTP 与墙钟漂移
分布式系统的大多数一致性论证都默默依赖一个假设:两个节点可以比较「谁先发生」。2.2 节线性一致要求读写尊重实时序,2.3 节 etcd 的 lease 到期要判断时间……可问题是,节点比较时间靠的是各自的物理时钟,而物理时钟是由石英晶振驱动的廉价设备,它天生会漂移。本节先讲清楚物理时钟的组成与漂移量级,再讲 NTP 如何把漂移拉回来,然后区分墙钟与单调时钟——这是理解 etcd 选举超时、分布式锁、对象时间戳正确性的基础。最后你会看到:墙钟根本不能用于全局定序,这正是 3.2 节需要逻辑时钟的原因。
物理时钟:石英晶振与 RTC
每台服务器的「时钟」不是 CPU 里的一个计数器,而是一个独立的计时链路:
- 石英晶振(crystal oscillator):一块按固有频率振动的石英片,通常是 32.768 kHz(2 的 15 次方,方便分频)。它把振动计数累计起来。
- RTC(Real-Time Clock):把晶振计数换算成年月日时分秒的硬件电路,通常带独立小电池,断电也走。
- 操作系统时钟:开机后内核把 RTC 的时间读进内存作为初始墙钟,之后靠晶振中断持续累加。
关键点是:晶振的频率不是精确的。它随温度、老化、电压漂移,出厂误差通常是 ppm 量级(parts per million,百万分之一)。频率偏了,时间就快或慢了。
晶振为什么会漂?三个原因。温度:石英频率随温度按一条近似抛物线变化,机房空调从 25°C 跳到 30°C,频率就跟着变;这正是 TCXO/OCXO 用温补电路或恒温槽换稳定度的原因。老化:晶振随使用年限频率缓慢衰减,年老化率常见 ±1–5 ppm。电压与机械应力:电源噪声、振动也会引入瞬时偏差。三个因素叠加,得到的就是「漂移率」这个统计量——它不是一个固定值,而是随时在变的。记住这一点很重要:任何基于「墙钟是准的」的分布式设计,都在赌晶振与环境的运气。
漂移率:ppm 量级
ppm 与时间的换算可以直接算:1 ppm = 一秒慢/快一百万分之一秒,也就是每天偏差 86400 × ppm / 1e6 秒。
| 时钟类型 | 典型稳定度 | 一天漂移 | 常见用途 |
|---|---|---|---|
| 普通消费级晶振 | ±20–100 ppm | 1.7–8.6 秒 | 台式机、低端服务器 |
| TCXO(温补晶振) | ±1–5 ppm | 0.09–0.43 秒 | 网络设备、GPS 模块 |
| OCXO(恒温晶振) | ±0.001–0.1 ppm | 0.09–8.6 毫秒 | 电信基站、精密仪器 |
| 原子钟 / GPS 授时 | ±0.000001 ppm 级 | 微秒级 | NTP stratum 0 时间源 |
可复算的锚点:一块漂移 100 ppm 的普通晶振,一天会慢或快 8.64 秒(86400 × 100 / 1e6)。两台漂移方向相反的机器,一天后能差 17 秒以上。这还没算温度骤变导致的频率瞬时偏移——机房空调波动就能让偏差在几秒内再扩大。
对运维来说,ppm 的直接含义是「你的节点时钟会不会在 NTP 同步间隔内漂出容忍范围」。一台 100 ppm 的机器,NTP 若 1024 秒(约 17 分钟)才同步一次,两次同步之间最多能漂 1024 × 100 / 1e6 ≈ 0.1 秒;如果应用要求节点间偏差小于 50ms,这个漂移就已经越界——必须缩短同步周期或换 TCXO。etcd 集群通常容忍数百毫秒内的偏差,但依赖毫秒级时间比较的应用(如分布式事务)就得把时钟预算算得非常紧。
NTP 同步:层级、offset 与 skew
单机墙钟不可信,所以服务器都跑 NTP 客户端周期性对时。NTP 有几个关键概念:
- 层级(stratum):时间源离权威时钟的跳数。stratum 0 是原子钟/GPS;stratum 1 直接连 stratum 0;stratum 2 连 stratum 1……层级越深,误差越大。普通服务器通常是 stratum 2–4。
- offset 与 skew:NTP 的同步就是反复估算两个量——offset 是「我的时钟与服务器差多少」,skew 是「我的时钟走得比服务器快还是慢」。
- 同步周期:
ntpd默认 poll 间隔在 64–1024 秒之间自适应(网络越稳间隔越大);chronyd收敛更快,生产容器环境也常用它。 - 同步误差:网络往返抖动让 offset 的估算本身有误差。同机房 NTP 误差可到 1ms 以内,跨公网通常 1–20ms,最坏能到几十 ms。
- 纠正方式:NTP 纠正偏差有两种方式。渐变(slew)——把时钟频率临时调快或调慢,在一段时间内缓慢消化偏差,过程平滑;阶跃(step)——直接把墙钟拨到目标值,立刻到位但制造一个「时间断层」。渐变适合毫秒级小偏差,阶跃用于大偏差(超过阈值,如 128ms)。生产里最危险的正是 step:一旦触发,墙钟不连续,所有「用墙钟计超时」的代码全部失真。
chronyd的makestep参数就控制「偏差多大才允许 step」,很多生产环境会把它调大甚至禁掉 step。
offset 是怎么估出来的?NTP 用对称模式:客户端记下发送时刻 t1,服务器记下收到时刻 t2 与发送时刻 t3,客户端在 t4 收到响应。单程延迟约 ((t4-t1)-(t3-t2))/2,offset 约 ((t2-t1)+(t3-t4))/2。这个估算依赖一个假设:去程与回程的延迟相等。一旦网络不对称(拥塞、路由不对称),offset 就带系统性误差。所以 NTP 能保证的是「同步后与上游偏差在毫秒级」,而不是「精确的绝对时间」。
所以经过 NTP 的服务器墙钟也不是精确的:它被拉回到「与上游差毫秒级」的水平,而不是「精确」。更重要的是下一节要讲的:NTP 拉回偏差的方式可能是突然回拨(step),而回拨正是墙钟最危险的行为。
墙钟与单调时钟:Go 的双时钟
Go 的 time.Time 同时携带两个读数:wall clock(墙钟)与 monotonic(单调时钟)。
now := time.Now() // 同时带 wall + monotonic
elapsed := now.Sub(start) // 若两个时间都带 monotonic,用单调时钟差值
unix := now.Unix() // 墙钟;可被 NTP step 回拨或前跳
Go 的 time.Time 内部用一个 int64 存秒加纳秒表示墙钟,并额外挂一个 monotonic 读数(存在内部 ext 字段)。time.Now() 产生的值带 monotonic;而 time.Parse、time.Unix(ts, 0)、JSON 反序列化得到的时间不带。所以 t.Sub(u) 是否安全,取决于两个值是否都来自 time.Now() 链——这解释了为什么解析出的时间只适合「展示」与「绝对比较」,不适合「计超时」。
两个读数的区别决定了它们各自的适用面:
| 属性 | 墙钟(wall clock) | 单调时钟(monotonic) |
|---|---|---|
| 表示什么 | 绝对时间(几点几分) | 自某参考点以来的流逝 |
| 可读给人看吗 | 可以 | 不可以 |
| 会被 NTP 调整吗 | 会(step 回拨/前跳) | 不会(只增不减) |
| 跨节点可比吗 | 名义上可比,实则漂移 | 完全不可比(各节点起点不同) |
| 适合判断 | 时间戳、到期时间点 | 超时、间隔、相对先后 |
注意 Go 的一个坑:time.Parse 出来的时间、time.Unix(ts, 0) 构造的时间不携带 monotonic 读数,此时 t.Sub(u) 退化为墙钟差值,就可能被 NTP 回拨影响。判断超时必须用 time.Now() 或 time.Since()(它们带 monotonic),而不是解析出的时间。
工程上记住一条分界线:凡是「从现在起再过多久」一律用 time.Now() 加 time.Since()(带 monotonic);凡是「某个时间点发生了什么、要给人看或排序展示」用墙钟字段。K8s 源码里大量 time.Now().Sub(...) 与 time.Now() 并存:前者的语义是「流逝」,后者的语义是「时间点」,各归其位。跨这条线的常见 bug 是把解析出的时间(无 monotonic)放进 context 的 deadline,再 time.Until 判断——一旦墙钟回拨,deadline 判断就会出错。
墙钟与单调时钟在 K8s/etcd 的用途
把这两类时钟放进一套真实系统看最清楚。K8s 恰好是极佳的观察样本:它既要给用户呈现「创建时间、更新时间」这类绝对时间戳(墙钟),又要在背后做选举、超时、限流这类计时(单调)。一旦你意识到「同一个对象字段是墙钟、同一个组件的计时却是单调」,你对集群行为突然变慢、分布式锁突然失效这类事故的理解就会深一层。
K8s 与 etcd 对两类时钟的用法泾渭分明:
| 用途 | 用墙钟还是单调 | 例子 |
|---|---|---|
| 对象时间戳 | 墙钟 | metadata.creationTimestamp、status.lastTransitionTime |
| Pod 生命周期时间 | 墙钟 | status.startedAt、finishedAt |
| 证书有效期 | 墙钟 | x509 的 notBefore/notAfter(必须用绝对时间) |
| etcd lease 过期 | 墙钟 | lease 记录 expiry 为墙钟时间戳,keepalive 时刷新 |
| Raft 选举超时 | 单调 | leader 在 electionTimeout 内没收到心跳就发起选举,用 time.Since 计 |
| 分布式锁 / Lease 续约间隔 | 单调 | client-go leader election 的重试间隔、kubelet 的周期动作 |
| 调谐 / 重试退避 | 单调 | controller 的 RequeueAfter、apiserver 的限流窗口 |
挑两个最容易出错的场景细看。选举超时的随机化:Raft 要求每个节点在 [150ms, 300ms] 之间随机取一个选举超时,leader 必须在窗口内用单调时钟判断「我多久没收到心跳」——如果这里用了墙钟,一次 NTP 回拨 200ms 就能让一个节点误以为 leader 失联,从而发起一次无意义的选举(集群在毫秒级抖动里反复换主)。etcd lease 的 keepalive:持有者按 TTL 的约三分之一周期续约,lease 在 etcd 里记录的 expiry 是墙钟时间戳;节点墙钟回拨会让 keepalive 的本地计时混乱,这正是 etcd 官方把「所有节点时钟同步」写进部署建议的原因。
一个容易忽视的耦合点:etcd lease 的过期判断用的是墙钟。etcd 官方部署建议所有节点保持时钟同步,正是因为如果某个节点墙钟回拨,它本地的 Lessor 会误判 lease 还有效(而多数节点已认为它过期),分布式锁的租约保护就会出现窗口。反过来,Raft 的选举超时用单调时钟,就是为了彻底躲开回拨——该用墙钟的用墙钟,该用单调的用单调,混用才是事故之源。
kubelet 的节点压力驱逐也用单调时钟:memory.available 低于阈值要持续超过 eviction-pressure-transition-period 才驱逐,这个「持续多久」用本地流逝计时,绝不能用墙钟——墙钟回拨一次,驱逐判断就会乱套。整条规律可以背下来:K8s 里凡是「持续/间隔/超时」,用单调;凡是「时间点/时间戳」,用墙钟。
为什么墙钟不能用于全局定序
现在把问题聚焦:能不能让两台机器给事件盖章「真实时间先后」?答案是不能,墙钟有三个致命缺陷:
- 漂移(drift)。两台机器差 5 秒(NTP 未收敛或收敛中),A 的
t=10:00:00事件实际上晚于 B 的t=10:00:02事件——时间戳比较在跨节点时毫无意义。把数字算出来更直观:两台 100 ppm 的机器,漂移方向相反,一天后差 17 秒(86400 × 200 / 1e6);即使有 NTP,跨公网对时的 offset 误差也有 10–20ms。如果其中一台刚被 step 回拨过 500ms,那么接下来一段时间里,两台机器的时间戳排序就是随机的。 - 回拨(step backward)。NTP 检测到本地快了 1 秒,会直接把墙钟往回拨 1 秒,于是「已发生的事件」突然有了比「后续事件」更大的时间戳,单调性当场被破坏。
- 不单调(non-monotonic)。管理员改时间、休眠唤醒、NTP 前跳——墙钟可以向前猛跳,也可以向后倒退,它不保证「时间只往前走」。
时钟回拨造成的实际影响,在 K8s/etcd 里可以列出一串真实事故模式:
- Raft 选举超时用了墙钟而回拨发生时,leader 会误以为超时还没到,或者反过来提前超时触发无意义选举(这就是为什么 Raft 实现必须用单调时钟)。
- etcd lease 误判:回拨让本节点以为租约未过期,另一个持有者已接手,两个客户端同时以为自己持有分布式锁——双主风险。
- 对象时间戳倒流:
lastTransitionTime比creationTimestamp还早,监控与排障的人看到「时间倒流」的假象。 - 证书校验误判:回拨让一个「尚未生效」的证书看似已生效,或让「已过期」的看似还有效。
把回拨事故推演一遍,就能看清它的危害半径。假设 3 节点 etcd 中节点 B 的墙钟被 NTP 回拨 2 秒:B 本地的「现在」变小,看到租约 L 的 expiry 还在几秒后,判定 L 仍有效;而 A、C 两个节点认为 L 已经过期,把锁发给了另一个持有者。于是同一把分布式锁同时被两个客户端持有——双主。反过来,如果 B 被前跳 2 秒,B 会以为 L 已过期而提前释放,造成「锁被无谓丢掉」。无论哪边,根子都在「把墙钟当权威时间用」。
三个缺陷之外,还有一个隐性假设容易被忽略:即使所有节点时钟都恰好一样,墙钟也只能告诉你「哪个先发生」,不能告诉你「谁影响了谁」。两个时间戳相邻的事件未必有因果关系,而分布式系统真正需要的是因果,不只是先后。这也是为什么哪怕有一台理想的全局时钟,也替代不了逻辑时钟——2.2 节「顺序一致与因果一致」的差别,在时钟域同样存在:墙钟能给出一个全局序,却无法标注 causal 关系。
结论很清楚:物理墙钟只能当「参考标签」,不能当「定序依据」。任何依赖「比较两台机器的墙钟时间戳来判定先后」的设计都是脆弱的。
需要逻辑时钟(衔接 3.2)
既然墙钟不能定序,那分布式系统拿什么判定先后?答案是逻辑时钟。核心思想来自 Lamport(1978):顺序不必对应真实时间,只需要对应「因果」。如果事件 a 确实影响到了事件 b(happens-before),那么任何观察到 b 的节点也必须观察到 a——这个关系与墙钟漂移、NTP 回拨完全无关,它只依赖消息传递。
可以这样理解这个转向:墙钟试图回答「真实世界里几点发生的」,逻辑时钟只回答「分布式系统内部谁先于谁」——后者才是协议需要的。Raft 的日志序号、etcd 的 mvcc revision、apiserver 的 resourceVersion,全部都是逻辑序的实例:它们不依赖任何物理时钟,只依赖「在同一个进程、同一份日志里递增」。你在 2.2 节看到的 resourceVersion「全局单调」,本质就是一个贯穿 apiserver 与 etcd 的巨型逻辑时钟。
3.2 节会给出 Lamport 时钟、向量时钟与混合逻辑时钟(HLC)三种构造,其中 HLC 还试图「尽量贴近墙钟」来兼顾人可读。但你现在已经握住了最关键的一块拼图:为什么不能用墙钟、为什么必须换一套与物理时间无关的定序机制。
三种逻辑时钟各补一个缺陷,先用一张表占位:
| 时钟 | 回答的问题 | 局限 | K8s/etcd 的对应 |
|---|---|---|---|
| Lamport | 谁先于谁(够用的序) | 无法判定并发 | Raft 日志序号、resourceVersion 的祖先 |
| 向量时钟 | 两个事件是否并发 | 空间随进程数增长 | 多副本状态合并、CRDT |
| HLC | 贴近墙钟且进程内单调 | 依赖可信墙钟上限 | etcd 事件时间戳、混合时间戳 |
带着「为什么必须抛弃墙钟」的问题进入 3.2,会更容易看清每个构造在补哪个缺陷。
可以预告 Lamport 时钟的基本性质:它给每个事件发一个整数,规则只有「本地事件 +1、收消息取 max 再 +1」,却能保证 happens-before 的事件一定分到递增的编号。这个编号不来自墙钟,所以两台机器差 5 秒、NTP 回拨多少次,都不影响序的正确性。3.2 会证明它,本节 lab 先运行它。
本节 lab
lab 用 clock 包验证一个最小命题:逻辑时钟的序与墙钟无关。先读 lamport.go 再看测试——你只需要注意它的规则,不需要任何时钟同步的前提。
lab 在 private/labs/k8s-etcd-lab/clock/,请先读 lamport.go 再运行。Lamport 时钟只有两条规则:
- 本地事件或发送消息:
t = t + 1; - 收到消息:
t = max(t, 远端时间戳) + 1。
规则保证:如果 a happens-before b,那么必有 C(a) < C(b)。它的价值正在于完全不依赖墙钟——两台机器墙钟差 5 秒、其中一台被 NTP 回拨,都不影响这条因果序。TestLamportHappensBefore 验证的正是这一点:a 发消息给 b,b 接收后 ta2 < tb1 必须成立,哪怕你给 a、b 设置任意离谱的墙钟漂移都不影响断言。
再看一眼 lamport.go 的 Observe:if remote > l.t { l.t = remote },然后再 +1——这个 max 操作就是「合并远端因果」的全部。它不读任何墙钟,只在消息里传递一个整数。对比本节的 NTP offset 估算与 step 回拨风险:Lamport 时钟把定序从「依赖物理时间」整个抽离出来,代价只是一个整数在消息里多传几个字节——这笔账就是 2.3 节讲的「一致性成本」在时钟域的投影。
运行:
cd private/labs/k8s-etcd-lab
go test ./clock -run TestLamportHappensBefore -v
预期 ok。这个用例是 3.1 到 3.2 的接缝:物理墙钟不能定序(本节),逻辑时钟用因果替代实时、不受墙钟漂移影响(3.2 起)。
你也可以做个思想实验:把 a、b 两个 Lamport 实例的启动顺序倒过来、让它们各自先 Tick 一大串数字,再走同一段消息——ta2 < tb1 依然成立。这个「无论本地时钟起点与推进速度如何,因果序恒成立」的性质,正是它区别于墙钟排序的地方:墙钟排序的正确性依赖「时钟真的准」,Lamport 排序的正确性只依赖「消息真的传递了」。前者是分布式系统无法保证的,后者是它唯一能保证的。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。