《大规模分布式计算深入解析》4.2 时间旅行与快照隔离
时间旅行不是重放日志,而是按时间戳挑出最近的快照;快照一旦生成就不再改写,读方因此获得一致视图,写方只在提交时争用元数据指针。本节给出时间轴寻址的边界规则与快照过期的取舍,并用 lab 用例 26、27、28、33 验证。
category
时间旅行不是重放日志,而是按时间戳挑出最近的快照;快照一旦生成就不再改写,读方因此获得一致视图,写方只在提交时争用元数据指针。本节给出时间轴寻址的边界规则与快照过期的取舍,并用 lab 用例 26、27、28、33 验证。
Iceberg 的元数据是一棵五层树:数据文件、清单、清单列表、快照、表元数据。提交只改写上层,旧快照保留,时间旅行几乎零成本。lab 中三次提交得到版本 3、快照 3 的父快照是 2,overwrite 后快照含 f2、f3、f4。
数据湖上的 ACID 靠两层支撑:一次原子提交切换当前版本,以及乐观并发检测写冲突。lab 中版本 1 删 f1 加 f3 后活跃文件仍为 f2、f3,重复事务号只生效一次,并发提交后到者被拒。本节讲清原子性、隔离性与代价。
表格式决定一次写入如何变成读者可见的新版本。Hive 表以目录为表、缺少原子提交;Iceberg 用快照与清单,overwrite 后快照含 f2、f3、f4;Delta 用 0 基事务日志。本节对照提交协议、分区演进与快照保留的取舍。
数据湖读时建模、存原始文件,数仓写时建模、存加工结果;两者的真正分水岭是表格式带来的版本链与事务。lab 中三次提交得到版本 3、快照父指针成链,Delta 四次提交得到版本 3。本节据此给出湖仓的选型与成本判断。
抢占杀掉在跑任务、把资源让给更重要的任务,代价是被中断任务已消耗的机时,只有收益严格大于成本才值得动手。弹性按目标利用率反推节点数:100 个任务在每节点 10 槽、利用率 0.8 下需要 13 个节点。本节用算例给出两者的判断链。
双层调度把决策拆成「资源提议」与「任务放置」,offer 是两者之间的契约;共享状态让多个调度器并行决策、提交时校验。本节用主导份额 0.4、容量 8 只接纳 2 个任务并浪费 1 份的算例,说明粒度代价并对照三种架构。
调度决策放在一个进程还是多个进程里做,是架构选择而非策略选择。集中式 1000 个任务按每秒 100 次决策需要 10 秒;分布式 10 个周期每周期 5 个 offer 只有 50 次机会。本节算清两侧成本,并给出四种架构的选型判据。
队列把「谁先用」编码成配置:DRF 比较主导份额,容量模型比较已用与保证量的比值,Fair 用权重折算份额。本节用三个队列的算例说明选择顺序与借用关系,用 Jain 指数说明公平不等于高利用率,并把模型映射到 K8s 配额与 Kueue。
容器用 namespace 隔离视图、用 cgroup 划定上限。本节拆解镜像拉取、JVM 堆外记账、CPU 节流与临时盘四条边界,并用 13 个与 5 个节点的算例说明密度、超卖与弹性的关系。
YARN 把应用内调度下放给 ApplicationMaster,K8s 把放置决策收归统一调度器。本节对照两者的资源单位、调度权归属与配额模型,用 FIFO、SJF、优先级与主导份额算例说明策略差异,并指出迁移真正要改的三处。
卷三 45 篇的学习路径与依赖关系:三条阅读路线(两小时速览、十五周精读、按问题查手册),十五章依赖图,五组问题追踪(延迟、正确性、状态规模、故障恢复、工程落地),以及每节一句话核心内容,方便按需跳读或通读。
《大规模分布式计算深入解析》卷三的 45 篇全书索引:从流与批的模型分野、连续处理与事件时间,到 DataStream 与算子、并行重缩放、算子链与资源槽,再到三种时间口径、水位线与迟到数据、三类窗口与触发器,随后是键值状态与后端、TTL 与访问模式,以及 barrier 对齐、端到端精确一次、恢复与保存点、背压与 credit 流控、双流 join 与两阶段提交、动态表与维表 join、三层作业图与槽分配、流批一体与生态集成;本卷配套有限Java模型与指定原生探针,共 145 个教学模型断言。
单个流作业讲完之后,平台化带来三个新问题:资源怎么在上千作业间分配、结果写到哪里并由谁保证原子提交、跨系统时一致性由谁承担。本节用槽位计算、并发检查点与数据湖提交周期串起这些动机,并给出卷四的调度、目录事务与分布式训练三条线。
用事件时间边界、状态所有权、完成元数据与外部提交连接全卷,统一证据层级。
以时间、状态、恢复、外部提交四类合同收束流设计空间;避免通用常量与语义降档表。
CDC 把数据库日志变成插入、更新、删除的变更流,与动态表一一对应。难点在全量快照与增量日志的切换点必须一致,否则漏数或重复。CDC 流关联实时维表时,缓存决定数据库压力与新鲜度,TTL 起算口径决定热点键会不会永远陈旧,清理按批进行。
写 Iceberg 不是写目录,而是提交快照:每次写入产生一个新版本,检查点完成才让快照可见,失败回滚则不产生可见版本。这与两阶段提交同源。检查点越密文件越多,60 秒间隔一天一万四千个文件,需要合并;流式写湖的延迟下界由检查点间隔决定。
Kafka 连接器的端到端语义由三件事决定:源端位点必须进检查点才能重放,sink 无事务只能至少一次、按连接器契约与配置使用事务可提供精确一次,分区数少于并行度则多余实例空转。消费组位点与检查点是两套独立进度,事务超时还要覆盖检查点间隔与恢复时间。
以heap/native/local/remote四类指标规划大状态;按slot预算与实际负载调优。