《大规模分布式计算深入解析》14.3 混沌实验:分区、时钟与磁盘

用隔离环境采集故障前、故障中及恢复后的请求历史和持久状态。

先写下要保护的历史

flowchart TD
    W["定义稳态和业务不变量"] --> S["固定数据集,启动请求历史采集"]
    S --> F["在隔离环境注入网络、时钟或存储条件"]
    F --> C["标记故障窗口和完成、超时、错误"]
    C --> R["恢复,按一致读和请求 ID 对账"]
    R --> P{"成功写与不变量均符合承诺?"}
    P -- "是" --> A["归档历史与实现版本"]
    P -- "否" --> K["保留最小反例,定位提交、应用或目标校验"]
注入业务判据辅助信号
2+1 分区多数派继续提交,隔离节点线性读无法成功,允许本地陈旧读term、选举结果、各端点日志
计时与暂停条件不足时 lease 路径拒绝或回退,迟到代次被资源拒绝单调时钟采样、续租结果与代次
持久化慢或失败超时允许结果未知,成功确认不得丢失,恢复后去重fsync、落盘错误和回放校验

每条记录附请求 ID、值、发出与结束时间、成功/失败/超时、可取得的 term/index 和故障区间。恢复后查询成功写和超时写,不能用“曾在少数派超时”推断事务必然中止。实验只在自有回环环境,按故障区间结束后自动恢复并停进程。磁盘错误、时钟速率和实际机房必须用针对性环境另测。

验证

从卷七实验包 解包,运行原生 etcd 隔离与恢复实验,结合 PostgreSQL 准备事务重启结果,记录每个测试覆盖的故障种类。

一手资料

卷七目录 · 系列导读与实验

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图