《大规模分布式计算深入解析》11.2 文件一致性 vs 计算一致性
文件系统的一致性承诺(追加/覆盖/读后写)与计算的一致性承诺(重放不污染)是两套坐标系。文件追加天然非幂等,计算重算天然幂等。MapReduce 把「文件写」封装成「目录提交」,用文件语义承接计算语义。lab 对比追加重放与幂等重算。
category
文件系统的一致性承诺(追加/覆盖/读后写)与计算的一致性承诺(重放不污染)是两套坐标系。文件追加天然非幂等,计算重算天然幂等。MapReduce 把「文件写」封装成「目录提交」,用文件语义承接计算语义。lab 对比追加重放与幂等重算。
区分任务attempt执行次数、committer认可的文件与外部副作用;不把重跑直接等同重复最终输出。
公平调度的目标不是「谁先来谁先跑」而是「资源按权重分摊」:max-min fairness 迭代分配、权重决定份额、需求小于份额时余量让出。讲清公平份额怎么算、以及抢占为何是「先抢后重放」的代价高昂的保底手段。lab 用迷你公平调度器复现权重分配与余量让出。
YARN 资源管理的三个关键概念:容器(资源分配的最小单元)、队列(多租户隔离与资源份额)、容量调度(保证容量 + 弹性分配 + maxCapacity 上限)。讲清「保证容量如何保底、弹性如何利用空闲、maxCapacity 如何封顶」。lab 用迷你容量调度器复现三档语义。
从 Hadoop 1.0 的 JobTracker 瓶颈讲 YARN 的诞生动机:资源管理与作业执行耦合、单点失效、只服务 MapReduce。YARN 把「全局资源管理」独立成 ResourceManager、「节点资源」独立成 NodeManager、「作业生命周期」独立成 ApplicationMaster。lab 用迷你容量/公平调度器复现 RM 的资源分配。
为什么大数据时代要引入列式存储:行式存储读分析查询要整行 I/O、压缩率低;列式存储只读需要的列、同列同类型高压缩、天然适配向量化。讲清 ORC/Parquet 的动机(列裁剪、谓词下推、压缩)与代价(写入更贵、点查不利)。lab 用迷你 MapReduce 观察只输出需要字段的效果。
小文件为什么是 HDFS 与 MapReduce 的双重灾难:NameNode 内存被块元数据撑爆、map 任务数爆炸、非本地读蔓延。讲清「小文件的成本在元数据与任务调度而非数据本身」,以及 SequenceFile、CombineFileInputFormat、HAR 三种合并思路。lab 用迷你 MapReduce 观察输入粒度与任务数的关系。
从性能角度回答「本地性为什么值钱」:磁盘与网络带宽的量级差、节点本地/机架本地/远程三档的成本差、以及副本布局如何决定本地性命中率。讲清「本地性命中率」与「带宽消耗」的关系,以及计算密集场景下本地性为何退居次席。lab 用数据本地性实验复现本地读的收益。
MapReduce 表达迭代与多阶段计算的两种方式:链式 MapReduce(把多阶段串成一个作业链)与迭代计算(反复跑同一作业直到收敛)。讲清链式的数据传递与容错、迭代的收敛判定与每轮成本,以及这两种笨办法如何暴露出 Spark 内存迭代的动机。lab 用迷你 MapReduce 复现链式处理的输出传递。
MapReduce 三个被低估的进阶设施:计数器(跨任务统计与数据质量校验)、组合器(combiner 的正确用法与边界)、分布式缓存(把共享小数据广播到所有节点)。讲清它们各自解决什么问题、何时该用。lab 用迷你 MapReduce 复现 combiner 等价性与分布式缓存读取。
MapReduce 的两个进阶技巧:二次排序让 reduce 收到「同 key 内 value 有序」的数据(按组合键排序),自定义分区让数据按业务规则分布(解决倾斜与保序)。讲清「组合键排序如何让 value 有序」「分区函数如何同时保正确与均衡」。lab 用迷你 MapReduce 复现二次排序与自定义分区。
shuffle 传输的三大优化:数据压缩(codec 选择与压缩比)、组合传输(批量而非逐个)、以及减少中间数据(过滤、combiner 与列裁剪)。讲清「shuffle 瓶颈在带宽」「压缩是省带宽换 CPU」「批量化摊薄网络往返」三个要点。lab 用迷你 MapReduce 演示中间数据量与输出的关系。
map 输出的内存缓冲与落盘:环形缓冲区满时如何溢写(spill)到磁盘,多个溢写文件如何归并成一个;combiner 如何在 map 端预聚合减少 shuffle 数据量。讲清「内存缓冲 → 溢写 → 归并」是 map 端 shuffle 的流水线,以及 combiner 为什么能大幅压缩中间数据。lab 用迷你 MapReduce 复现 combiner 等价性。
shuffle 的第一块拼图:map 端如何把中间 KV 按 key 分区、排序,reduce 端如何归并多个有序流。讲清分区函数决定 key 去向、排序为归并铺路、归并如何用 K 路合并把多个有序输入合成一个有序流,以及「排序在哪里做」的设计选择。lab 用迷你 MapReduce 复现分区与二次排序。
长尾任务如何被推测执行加速、反复失败的节点如何被黑名单隔离:慢任务的检测(进度落后于平均)、备份任务「谁先完成用谁」的语义、黑名单的阈值与解除。讲清这两套机制如何与任务重放配合,构成「调度 + 容错」的完整闭环。lab 用迷你实现复现推测执行与黑名单。
调度器如何按数据本地性把 map 任务派到「持有输入分片」的节点:LOCAL > RACK > REMOTE 三级优先级、延迟调度等待本地位、以及本地性与负载均衡的权衡。讲清调度器为什么不是「看空槽就派」,而是「先等本地再降级」。lab 用本地化调度器复现三级优先级与满载降级。
MapReduce 并行度的来源:输入分片(split)如何决定 map 任务数量,分片的大小与数量如何与块大小、数据倾斜、调度粒度权衡。讲清「分片是逻辑概念」「分片数 = map 任务数」「分片与本地性绑定」三个要点,以及分片元数据的记录方式。lab 用迷你 MapReduce 验证任务划分与并行产出。
单 NameNode 有内存与吞吐两个硬边界:命名空间太大装不进内存、元数据操作都过一个节点。联邦(Federation)用多个独立命名空间分散元数据负载,各自独立伸缩。讲清「为什么不能靠一台超大 NameNode 解决」「联邦怎么拆」「联邦的代价与边界」。lab 用迷你 HDFS 复现多命名空间互不干扰。
以 Hadoop 3.4.2 解释 Active/Standby、QJM 多数派、写者 epoch 与故障转移中的 fencing。
副本冗余只是起点,冗余必须被持续维持才有效。讲清副本数量从 3 降到 2 会怎样、NameNode 如何通过块报告与周期校验发现副本不足、补副本(重新复制)的完整流程、以及「坏块隔离 + 补足」保证冗余水位回到安全线的机制。lab 用迷你 HDFS 复现单副本故障与恢复。