《大规模分布式计算深入解析》2.2 窄宽依赖、Stage 边界与复用
窄依赖将子分区映射到特定父分区,常可流水执行;shuffle依赖按目标分区重分布。union常将子分区对应到某一个父RDD分区,不是普遍把所有父RDD的第i分区合起来。join是否免shuffle取决于两侧兼容的Partitioner和布局。
category
窄依赖将子分区映射到特定父分区,常可流水执行;shuffle依赖按目标分区重分布。union常将子分区对应到某一个父RDD分区,不是普遍把所有父RDD的第i分区合起来。join是否免shuffle取决于两侧兼容的Partitioner和布局。
RDD分区由文件源、父依赖、Partitioner和显式repartition/coalesce决定;SQL文件扫描还有spark.sql.files.maxPartitionBytes、文件打开成本与格式可切分性。这些设置的作用域不同,不能用一个文件字节参数控制所有RDD与下游shuffle。
按Application、Job、Stage attempt和Task attempt拆解Driver与Executor职责,分开资源并发、持久材料和Driver重启。
惰性依赖、任务内缓存回退和Shuffle故障恢复分层;血缘深度不是耗时,输入与计算确定性需单独满足。
RDD的分区、计算函数和依赖定义可恢复的数据描述;确定性、稳定输入与可用产物共同约束重算,不承诺固定加速比。
《大规模分布式计算深入解析·计算模型与分布式文件系统》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与数据工程专题、站内书稿的分工边界;本卷配套可运行的有限Java模型与指定原生探针,正文以 MapReduce、HDFS、YARN、SQL-on-Hadoop、DAG 与 Pregel 为对象讲解分布式系统原理。
《大规模分布式计算深入解析》卷一的 45 篇全书索引:从大规模计算问题定义、MapReduce 计算模型、HDFS 架构与读写路径、容错与高可用,到任务调度、Shuffle 原始实现、MapReduce 进阶、列式存储、YARN 资源管理,再到一致性在计算中的角色、性能模型、SQL 与 DAG 引擎、Pregel/BSP 图模型,最后以设计空间总结、主线回顾与内存计算动机收口;本卷配套可运行的有限Java模型与指定原生探针,共 140 用例。
卷一最后一句:为什么内存计算能快 10-100 倍——把中间结果留在内存,而不是每轮落盘再读。从 12.3 的「五笔账」到 Spark 的 RDD 缓存与血缘重算,卷一正式收口,卷二从这里开始。lab 复现缓存命中与血缘重算。
卷一最后的主线回顾:四条主线——计算模型(MapReduce/DAG/图/流)、分布式存储(HDFS/元数据/表语义)、调度执行(本地性/队列/资源)、容错一致(重放/检查点/事务)。每条主线串起全卷并指向卷二 Spark。
收口卷一的 MapReduce 部分:把前 14 章的设计选择摆进一张设计空间图——表达力、容错、性能、一致性四个维度上的取舍。MapReduce 是「简单 + 可重放」的极端,它牺牲表达力换确定性。lab 用全模块回顾验证。
14.2 的超步模型源自 BSP(Bulk Synchronous Parallel)。本节讲 BSP 的同步迭代骨架、收敛判定的实现,以及增量计算的优化:只重算受影响顶点而非全部。lab 复现收敛步数与增量重算量的对比。
MapReduce 不适合图算法(逐跳迭代太慢),Pregel 提出「以顶点为中心的超步计算」:每超步所有顶点并行处理消息、更新值、发新消息,无变化即收敛。lab 复现 PageRank、单源最短路径与连通分量三种超步算法。
MapReduce 的「一 map 一 reduce」太僵化,Dryad 把计算表达成有向无环图:顶点是算子、边是数据流。DAG 执行的关键是拓扑顺序(依赖先行)、关键路径(决定总耗时)与并行层(同层可并行)。lab 用迷你 DAG 验证三者。
Metastore 让「表」成为独立于存储的逻辑概念,这就是数据湖的种子。表语义 = 逻辑表 + 物理数据 + 元数据三层,引擎向「表」查询而非向「文件」查询。lab 用分区表语义复现「表→分区→查询裁剪」。
多阶段查询在 MR 里是「每阶段落盘再读」的链式作业,DAG 引擎把阶段合并、共享中间结果。核心动机是减少物化:链式 3 阶段物化 2 次,DAG 合并后只 1 次。lab 对比链式与 DAG 的中间物化次数。
MapReduce 能算但难用,Hive 把 SQL 翻译成 MR 作业,关键是元数据服务:表→分区→HDFS 路径的映射。SQL 解析成 scan/filter/project 算子树,元数据驱动分区修剪。lab 复现查询到算子、元数据分区列表与分区修剪。
用同查询、同数据和分阶段计时衡量单机到集群的收益,区分性能估算与基准实测。
分布式计算的性能由最慢的资源决定。磁盘、网络、内存三段管道串行,总耗时 = 最慢一段。用 Amdahl 定律量化串行部分对加速比的天花板。lab 用瓶颈模型验证提升瓶颈 vs 非瓶颈的不同效果。
数据本地性省传输,负载均衡省等待,两者天然冲突。全本地会让热点节点超载,均衡会让部分任务远程。lab 用量化模型对比两种策略的总耗时,找到「本地性红利 vs 均衡红利」的临界点。
重放与检查点是一对:检查点把「从头重放」变成「从断点恢复」。恢复语义 = 从哪里恢复 + 恢复后重放多少 + 结果是否仍与无故障一致。lab 用步进任务复现无检查点全量重放 vs 有检查点部分重放,验证恢复后结果一致。