《大规模分布式计算深入解析》6.3 恢复/重启策略
按已完成检查点元数据选择恢复资源;区分ID、完成事件、重启策略与源起点。
category
按已完成检查点元数据选择恢复资源;区分ID、完成事件、重启策略与源起点。
分别验收源位置、内部状态与外部效果;没有检查点不能直接推导至多一次。
解释双输入 barrier 对齐、非对齐时的通道状态、异步持久化和全局检查点完成。
区分 Flink DataStream 处理时间 TTL、刷新策略、过期可见性和物理清理。
区分JVM堆、RocksDB native/managed内存、SST与远端快照;不再以192MB作通用常量。
流计算不能「算完就丢」,因为累计、去重与双流关联都要跨事件记忆。本节把状态分成键控与算子两类,列出键控状态五种形态各自适合存什么,说明状态后端只负责存放、快照与恢复,不提供查询。最后用「100 万条分到 1000 个键」的算例,推出状态规模由键数、每键条数与单条大小相乘决定。
会话合并需要迁移内容与触发状态;增量聚合是否有界取决于累加器结构。
区分EventTimeTrigger的maxTimestamp、计数复位、FIRE与清理窗口内容。
滚动、滑动与会话窗口的精确定义;会话间隔等于gap时按1.20.3仍可合并。
按窗口清理点判断接纳,再判定侧输出;区分迟到重触发与过期丢弃。
区分单输入生成、多输入合成和idle状态;按1.20.3明确maxTimestamp-B-1的毫秒边界。
同一份日志用事件时间、摄取时间、处理时间计算,会落进不同窗口。本节给出三种时间的定义与优缺点对照,说明时间戳与水位线的生成位置,用一条延迟 5 分钟上报的日志演算窗口归属,并给出按可复现性、延迟容忍度、时间戳来源选口径的决策表。
算子链把一对一且并行度相同的算子压进同一线程,省掉序列化与网络;槽是任务管理器的资源切分单位,槽共享让所需槽数等于最大并行度。本节给出可链条件、三种断链手段,并算出 14 个逻辑任务压成 2 条链、8 并行度需要 8 个槽。
键组固定、子任务映射可变;用明确逻辑编号统计重缩放,不直接推导网络字节。
本节讲数据流 API 的图结构:源产生流、变换处理、汇写出,并区分无状态与有状态算子的正确性前提。文中说明按键分组如何把状态按 key 分区、五种分区策略各自何时用、并行的三个层次,并用任务数 14、链数 2 的算例说明重分区为何断链。
本节给出运行时的角色分工:客户端构建并提交作业图,主节点负责调度、检查点协调与资源申请,工作节点以槽为单位执行子任务。文中讲作业图到执行图的展开关系、三种部署模式的取舍、主节点高可用保存的是元数据而非状态,并追踪一条数据从源到汇经过的组件。
本节区分事件时间、摄取时间与处理时间:处理时间随到达顺序变化,同一份数据重放两次结果不同;事件时间把记录归属固定在数据自身,代价是需要水位线与迟到处理。文中给出不可复现的量化算例、逐条与微批两种形态的对照,以及结果正确与结果及时的取舍表。
本节把流与批的差别归结到输入边界:有界输入有终点,状态随任务释放、故障整体重放;无界输入没有终点,状态必须托管、通常用检查点限定重放窗口。文中用每天一批与每 100ms 一微批的算例对比吞吐与利用率,并说明滚动批为何补不齐窗口跨界与跨批状态。
《大规模分布式计算深入解析·批处理引擎:Spark 内核》的目录与学习路径:45 篇逐节索引、三条阅读路线、十五章依赖关系,以及本卷与卷一、数据工程专题、Flink 专题的分工边界;每节配一个可运行的 Java 最小验证,正文以 RDD、DAG、Shuffle、内存管理、Catalyst 与结构化流为对象讲分布式批处理引擎内核。
《大规模分布式计算深入解析》卷二的 45 篇全书索引:从 RDD 的动机、惰性求值与血缘,到分区依赖、DAG 调度与流水线、Shuffle 路径与实现、统一内存与 spill,再到任务执行与序列化、重试与推测、块丢失与提交协议,随后是 Catalyst 逻辑/物理计划与 codegen、join 与聚合实现、分区修剪与 AQE,最后是结构化流的微批、状态与水印、输出模式,以及与资源管理、性能调优、存储集成、引擎比较和卷二收口;每节配一个可运行的 Java 最小验证,共 109 用例。