《大规模分布式计算深入解析》11.1 DAG 工作流引擎
工作流引擎把任务依赖表达成 DAG,用拓扑序、就绪集合与关键路径定执行顺序。本节用拓扑序 A→B→C→D、唯一源点 A、关键路径 10 秒、A 后 B 与 C 可并行 2 个四组 lab 断言,说明关键路径只是下界,耗时还要叠加排队与并发。
category
工作流引擎把任务依赖表达成 DAG,用拓扑序、就绪集合与关键路径定执行顺序。本节用拓扑序 A→B→C→D、唯一源点 A、关键路径 10 秒、A 后 B 与 C 可并行 2 个四组 lab 断言,说明关键路径只是下界,耗时还要叠加排队与并发。
大模型训练的单步时间不是计算加通信,而是两者较慢的那个。本节用计算 10 秒、通信 4 秒说明重叠后取 10 而非 14,用微批 4、累积 8 步推出等效全局 batch 32,并把 4 段流水线 27% 的气泡放进同一张时间账。
显存超支往往来自参数、梯度、优化器状态与激活四本账叠加。本节算清 ZeRO 三阶段:10 亿参数、8 卡下 ZeRO-1 每卡 9GB,ZeRO-2 降到 5.5GB,ZeRO-3 才分片参数;并用 1.33 倍激活检查点说明重算换显存。
单卡放不下模型时,必须把模型本身切开。本节对照张量、流水、序列三种并行的通信模式,用 4 段流水线、8 个微批推出气泡占比约 27%,并用分片后每卡 9GB、5.5GB 的算例说明切分与分片不是一回事。
大模型训练动辄几百张卡跑数周,失败是常态。本节说明检查点必须保存哪些状态、恢复为何从第 101 步继续、worker 从 4 缩到 3 后本地 batch 如何变为 342,以及恢复重试的幂等要求。
解释同步训练的梯度归约、样本权重、批次尺度与弹性变化。
梯度聚合在 8.3 已解决,本节回答何时聚合。同步 SGD 每轮等最慢者,四个 worker 耗时 1.0、2.0、1.5、1.2 时一轮为 2.0;异步不等待,但要付版本差为 3 的陈旧度代价。本节给出同步、异步与有界异步的选择依据。
AllReduce 让每个 rank 都拿到完整归约结果,环状实现分 reduce-scatter 与 allgather 两段。本节算清 4 个 rank 的 6 步与每节点 600MB,并对照树形的 3 步,区分带宽与延迟两个口径。
参数服务器把参数放在 server、数据放在 worker,一轮训练就是推梯度、聚合、拉参数。本节算清 4 个 worker 的 8 条消息与四组梯度求平均得到 [4,5],并说明星形拓扑的汇聚瓶颈、分片扩展与异步陈旧度的代价。
数据并行切样本、模型并行切参数,两者的每步通信量并不在一个量级。本节用 1000 条样本与 1000 个参数各分 4 份的算例,讲清 250 的两种含义、1024 的全局 batch,以及按显存与通信量选择并行维度的顺序。
远程 Shuffle 解决了带宽,却解决不了键分布不均:一个 700MB 热分区会让其余任务空转。本节用倾斜因子度量长尾,按 100MB 目标拆成 10 个分区,并算清 1GB 数据在 200MB 内存下的 6 次溢写。
Shuffle 的实质是按 key 重新分组,分组不可省,只能换个地方付成本。广播 join 把复制摊到执行器,桶表把分组前移到写入时,预聚合压低交换量。本节用 2000MB 广播与小分区合并算例,并用 lab 用例 103、107 验证。
远程 Shuffle 服务把临时数据从执行器搬进独立集群,用一次写入多次读取换弹性,代价是多一个故障域。本节算清 3072MB 流量、500ms 延迟与 1500MB/s 容量,并用 lab 用例 101、102、106 验证。
COW 用整文件重写换取读侧干净,MOR 用小增量换取写侧轻量,代价是读时合并与增量堆积。本节用 512MB 改一行、100MB 加 10 个增量、合并回 110MB 三个算例算清循环,并用 lab 用例 40、41、42 验证。
读路径从目录解析走到打开数据文件,写路径从落盘走到原子换指针,更新模型决定两侧各付多少代价。本节用 512MB 文件改一行、100MB 基文件加 10 个增量两个算例,说明写放大与读放大如何互换,并用 lab 用例 40、41 验证。
湖仓一体的「一体」不在存储格式,而在目录:目录把表名解析到一个元数据版本,任何引擎读到的都是同一份清单。本节拆开元数据树的五层结构与一致性组的取最小版本规则,并用 lab 用例 43、44、45 验证同一版本解析、三表对齐与五层结构。
Spark 通过 DataSource 把 Delta 表当普通数据源读写,版本、谓词与分区信息在规划阶段下推;两个写者同时提交时只有一个能推进版本。本节串起读写路径、并发冲突与统一目录,并用 lab 用例 39、43、44 验证。
Vacuum 删的是不再被任何可达版本引用、且超过保留期的数据文件,不删事务日志;日志保留期与文件保留期是两套时钟,错配会让时间旅行看到版本却读不到文件。本节给出回收判据与安全顺序,并用 lab 用例 37、38、33 验证。
区分经典 Delta 日志提交、版本读取、失败重试、catalogManaged 路径与时间旅行。
隐藏分区把「按什么切」从用户的 WHERE 条件里解放出来:分区由源列上的变换定义,查询只写业务谓词,规划器负责把谓词翻译成分区裁剪。本节拆开分区、清单、文件、行组四层裁剪,并用 lab 用例 29、30、31、32 验证裁剪数量。