《大规模分布式计算深入解析》4.3 append、块校验与恢复
默认append先填未满尾块,NEW_BLOCK另走新块;校验、复制和恢复边界分别解释。
category
默认append先填未满尾块,NEW_BLOCK另走新块;校验、复制和恢复边界分别解释。
HDFS 读取的完整路径:客户端问 NameNode 要块位置,再与 DataNode 直连读数据。讲清「读不走 NameNode」的原因、副本选择顺序(本地优先)、以及短路读(short-circuit read)如何让客户端在数据本地时直接读本地磁盘、绕过网络栈。lab 用迷你 HDFS 复现读取与副本选择。
跟踪一条 HDFS 写管线的分配、packet ACK、同步与故障重建,区分读者可见、设备同步和文件完成。
租约超时只进入恢复条件;尾块代际、长度同步和恢复完成后才可交给新写者。
以 Hadoop 3.4.2 默认块放置策略解释三副本、故障域与任务分片,区分原生策略与教学模型。
HDFS 的主从架构:NameNode 只存元数据(目录树、块位置)不存数据,DataNode 只存数据块。讲清职责分离为什么是设计的核心——把「元数据可靠」和「数据可靠」拆成两个独立问题——以及单 NameNode 的性能与可用性边界(为 HA 章节铺垫)。lab 用迷你 HDFS 复现文件写读。
MapReduce 容错模型的核心——任务级重放:哪个任务失败就重跑哪个任务,其余不受影响。讲清为什么重放是便宜的选择、失败检测的不可判性、黑名单与推测执行的配合,以及「重放」与「副本」两条容错路线的取舍。lab 用迷你 MapReduce 演示失败重放后输出与无失败一致。
为什么必须「把计算派到数据所在节点」而非反之:数据传输量与任务代码量在规模上的量级差、本地性三级(本地/同机架/跨机架)、以及它如何塑造调度器与存储设计。lab 用本地化调度器演示 LOCAL/RACK/REMOTE 三级优先。
《Kubernetes 分布式系统原理深入解析·网络、存储、多集群与一致性边界》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与卷一/卷二/卷三的分工边界;每节配一个可运行的 Go 最小验证,正文以 K8s 网络、存储、多集群与一致性边界为对象讲解分布式系统原理。
MapReduce 三阶段的精确语义:map 把输入行展开为中间键值对、shuffle 按 key 分区/排序/归并、reduce 按 key 聚合输出。用词频统计做贯穿例子,讲清「键值对是唯一数据类型」「shuffle 是全到全通信」。lab 用迷你 MapReduce 复现三阶段并断言输出。
全 45 篇的章节索引:从扁平 Pod 网络与 IPAM、Service 虚拟 IP 与 kube-proxy、流量策略、CoreDNS 与七层流量治理,到分布式存储抽象、CSI 卷生命周期、有状态数据分布、备份容灾,再到多集群联邦、跨集群流量与选举、一致性读路径、脑裂与故障域、混沌工程,最后以四卷主线回顾、设计原则清单与迁移路径收口;每节配一个可运行的 Go 最小验证,共 98 用例。
前五卷的路线图:从计算模型与文件系统,到 Spark 内核、Flink 内核,再到调度/数据湖/分布式训练以及执行与存储格式内核;以及 lab 验证工程 bd-fs-lab 的结构与使用方法。给读者一条「按五套重放/一致机制」串起全书的主线。
全书收束末篇:把 K8s 学到的机制迁移到自研分布式系统的完整路径——数据真相源不变、分阶段迁移(数据同步→切读→切写)、避免双写窗口、安全切流判定。lab 用 review 包三个测试验证安全切流、双写窗口拦截与分阶段保一致三条语义。
把 15.1 的五条主线压成五条可执行的设计原则——多数派才承诺、隔离旧 Leader、读可判新旧、副本分散故障域、可重试(幂等),并给出一把审计好/坏设计的 checklist 尺子。lab 用 review 包四个测试验证好设计零违规、裸设计违规多条、缺隔离与缺跨域副本各被审计命中。
全书收束第一章:把四卷拆出的机制浓缩成五条主线——状态机复制、共识与选举、watch/事件流、声明式 API 与负反馈、一致性边界,每条落在真实组件(etcd Raft、租约、list-watch、controller informer、读路径/故障域)上串起全书。lab 用 review 包验证五条主线清单完整,2 组断言。
本节把第 8 到 13 章的一致性推导拿到故障注入下验收:杀 Leader 不丢已提交数据、少数派写被拒、单点磁盘故障不破坏多数派、多数派失效只读降级。lab 用 chaos 包的 ReplicatedLog 类型与 6 个测试逐条验证 QuorumWritable、NoDataLoss 与 Uncommitted 不变量。
分布式计算的三条核心目标——可扩展、容错、一致——以及它们之间的张力:加机器为什么不是免费的、故障为什么是常态而不是例外、一致性在计算场景里该用哪一档。lab 用迷你 MapReduce 的失败重放演示「容错靠重放而非避免故障」。
混沌实验要成为生产流程,必须有一个编排器:实验入队、按序注入、到期自动恢复。本节拆解 Chaos Mesh 的编排队列与 inject→verify→recover 三阶段,并解释为什么串行注入避免两个实验同时命中同一目标。lab 用 chaos 包的 TestMeshControllerScheduling 验证首个 Step 注入全部实验、到期后自动退出注入期。
混沌实验不是随机搞破坏,而是「故障注入 + 不变量检查」的闭环:把假定的故障注入生产系统,观察不变量是否仍成立。本节拆解实验的目标、故障、注入时长与爆炸半径四个要素,以及注入→观察→恢复的生命周期。lab 用 chaos 包的 TestExperimentLifecycle 验证注入期内生效、到期自动过期与主动恢复三条语义。
故障域设计决定分区的结局:副本跨域分散时单域宕机仍留多数派,集中放置则单域宕机即全军覆没。本节用副本分布推导 Survives 判定,并对比分散、集中、跨两域三种放置策略对一致性承诺的影响。lab 用 splitbrain 包的 TestFaultDomainSpreading 验证三副本分散丢一区仍满足多数派、同域集中丢一域即失守。