《大规模分布式计算深入解析》1.3 Push 模型与 Morsel 驱动并行
Push 由源端发起,morsel 把输入切块分给 worker。800 万行按 1 万行一块得 800 个 morsel,8 个 worker、每块 20ms 处理 2000ms;细化到 1000 行后为 8000 个,调度 400ms、占比 20%,块大小是均衡与开销的取舍。
category
Push 由源端发起,morsel 把输入切块分给 worker。800 万行按 1 万行一块得 800 个 morsel,8 个 worker、每块 20ms 处理 2000ms;细化到 1000 行后为 8000 个,调度 400ms、占比 20%,块大小是均衡与开销的取舍。
向量化把 1024 行打成一个批,把 2400 万次逐行 next() 压成 23439 次批调用。本节用 800 万行 3 算子算出 7813 批,每批 150ns 得 3.516ms,比火山 360ms 低约 102.39 倍;批处理摊薄的是调用成本,lab 用三用例断言。
火山模型把每个算子做成迭代器,每输出一行都要穿过整条 next() 调用链。本节用 800 万行 3 算子算出 2400 万次调用,按每次虚调用 15ns 得 360ms 调度开销,再加每行一次分支预测失败的 40ms,说明成本主要在调度而非计算;lab 用三用例断言。
卷四 45 篇的学习路径与依赖关系:三条阅读路线(两小时速览、十五周精读、按问题查手册),十五章依赖图,五组问题追踪(排队、表正确性、更新成本、训练扩展、平台运维),以及每节一句话核心内容。
十三卷学习路径、Java 8 教学模型与固定版本的原生实验,覆盖文件、批流、湖表、SQL 执行、共识、存储、事件流、检索、图、OLAP 与向量检索平台。
《大规模分布式计算深入解析》卷四的 45 篇全书索引:从 YARN 到 K8s 的调度全景、集中式与双层调度、抢占与弹性,到数据湖与 Iceberg/Delta 表格式、湖仓一体的更新模型,再到远程 Shuffle、倾斜执行、数据/模型并行、参数服务器与 AllReduce、同步异步 SGD、ZeRO 与流水线,最后收于工作流、可观测性、多租户治理、弹性容错与全书四维主线;每节配可运行的 Java 最小验证,共 108 个断言。
自研不是重写引擎,而是按控制面到数据面的顺序接管。本节用统一目录解析到版本 3、轮询引擎 3 次成功、4 文件快照恢复与 1TB 重建 3495 秒四个算例,给出寄生、旁路、替换、自持四阶段,以及每阶段的退出判据与回退路径。
45 篇可压成计算、状态、调度、存储四条主线。元数据树 5 层、AllReduce 每节点 600MB、关键路径 10 秒、100GB 恢复 204 秒、1TB 重建 3495 秒五个算例,把四卷机制放进同一张决策表,并给出冲突优先级。
四卷讲的是同一设计空间的四个主轴:重放边界、调度、存储与通信。本节用容量 8 只接纳 4 和 3、环状 AllReduce 每节点 600MB、三表版本 7、恢复读 5 层四个算例,说明各轴如何耦合,以及规模变化时取舍为何翻转。
跨云的第一笔账不是带宽而是滞后:主版本 10、副本版本 8,读副本会退后两个提交。本节用一致性组取最小版本说明多表恢复为何选 6 而非 7,用 5 分钟快照间隔推出最坏 RPO 为 5 分钟,并给出混合云三种形态的取舍。
弹性扩缩难在缩容。100 任务、每节点 10 槽、利用率 0.8 时需 13 个节点,任务降到 40 后只需 5 个;训练固定全局 batch 1024,4 个 worker 缩到 3 个后本地 batch 从 256 变为 342。
任务级重试处理单点失败,集群级恢复处理一片机器同时失效。本节用三张表都有版本 5 才能整体恢复、缺一张版本 5 就拒绝、恢复两次失败第三次成功、3 副本坏 1 个仍有 2 份这四笔账,划出两类故障的分界与重试预算。
数据湖的治理对象是元数据:多表要按一致性组对齐版本,恢复点只能取不晚于目标的最近快照,保留策略决定历史能留多久。本节用三表同为版本 7、缺一张表版本 5 被拒、目标 7 回落到 6、5 个快照留 3 个,说明治理规则如何落到恢复动作上。
资源隔离一面是性能,一面是故障域。本节用 80 已用除以 100 容量得到 0.8 的利用率,解释为什么预留两成余量,用 3 副本 2 个确认写入成功、1 个确认写入失败说明多数派如何把故障挡在数据之外。
配额决定能占多少,优先级决定先给谁,抢占只在收益大于成本时发生。本节用优先级 10 的 B 先被选中、已用 6 除以权重 2 得公平份额 3.0、收益 10 大于成本 7 才抢占这三笔账,说明三者如何配合而不互相抵消。
成本归因要把每一份机时和每一 GB 存储落到队列、用户与任务上。本节用 7 个分区只重跑 2 个说明增量计算省下约七成算力,用 100MB 全量加 3 个 10MB 增量共 130MB 说明备份成本结构,并给出账单对不上时的排查顺序。
DAG 级指标只能说清这次跑得慢,任务级才说清慢在哪。用 70 秒超 60 秒 SLA、池 2 让 5 个任务 3 个排队、端到端 10 秒关键路径加 2 秒排队得 12 秒三组 lab 断言,把延迟、排队与超时拆到单个任务并给出告警口径。
可观测三根支柱分工明确:指标看趋势、日志看细节、追踪看因果。用关键路径 10 秒加排队 2 秒得 12 秒、拓扑序 A→B→C→D、上游失败时下游为 SKIPPED 三组 lab 断言,说明延迟怎么拆、状态怎么归类,报表才能与真实故障对上。
工作流引擎不执行计算,只负责提交、轮询与记账。本节用轮询 3 次成功、同分区重写两次仍 1 份、B 失败跳过 2 个下游、池 2 排队 3 个、回填 7 天 7 个实例五组 lab 断言,把接缝拆成提交、感知、幂等与并发四类约束。
依赖满足才触发、失败重试、超限判死、超时终止,是调度层四条规则。本节用第三次尝试成功、上限 2 次仍失败返回 -1、退避依次 1、2、4 秒、运行 70 秒超过 60 秒 SLA、到期但依赖未就绪不触发五组 lab 断言,拆开算清三笔账。