《大规模分布式计算深入解析》13.2 检查点存储与增量
按共享SST文件集合理解增量快照、引用回收与恢复,避免误画成逐层增量日志回放。
category
按共享SST文件集合理解增量快照、引用回收与恢复,避免误画成逐层增量日志回放。
以事务恢复句柄处理预提交、检查点完成与确认丢失;允许协议支持的幂等提交重试。
微批把流降维成批的序列,原生流把批降维成有界流,延迟、状态与容错粒度由此派生。本节给出六个维度的对照表、同一业务在两种引擎上的写法差异,以及「延迟、状态量、团队经验」三问取舍法,并补上流引擎视角的批能力一端。
有界流结束、idle和批模式的MAX水位线分别解释;终止不等于通用exactly-once承诺。
DataStream默认STREAMING;AUTOMATIC按有界性选模式,BATCH有独立恢复与提交合同。
failover范围由数据分区与策略决定,完成点保留和重启容忍分别配置。
执行图拆出的子任务要落到任务管理器的槽里。本节说明槽共享让所需槽数等于组内最大并行度、按每机槽数向上取整会留出整机余量,并算出 8 并行度每机 4 槽要 8 槽、4 并行度每机 3 槽要 6 槽,再讲键组如何让扩容不漂移。
一段 DataStream 代码要经过三次变形才能被调度。本节说明链优化为何只改部署形态、分区类型如何落地,并用 source 4、map 4、filter 4、sink 2 算出 14 个逻辑任务压成 2 条链、6 个子任务。
分开DataStream TTL与SQL计划状态;按算子级STATE_TTL hint和处理时间刷新解释结果变化。
维表不产生事件,只提供某一刻的参考值。本节对比逐条查外部表的 lookup join 与按事件时间对齐版本的时态表 join,说清用哪个时刻的版本决定结果能否复现;再给出命中率与数据库压力的算例,以及缓存落点在堆内还是磁盘的判据。
流是表的变更日志,动态表是快照在时间轴上的序列。本节拆开连续查询的四个决定:变更为何分插入、撤回与删除,结果为何分追加流与更新流,聚合与去重为何必然长出状态,状态为何只能靠窗口或生存时间收敛。最后用去重查询说明状态量由键基数决定。
区分逐事件去重、主键覆盖、版本保护和事务;重复函数调用不等于重复外部效果。
预提交、完成点覆盖和幂等恢复提交分别解释;不能用三布尔替代外部协议。
无界流的双流关联不能等两边读完,必须为「等多久」定界:窗口 join 看时间范围,间隔 join 看时间差,普通双流 join 靠状态加 TTL。多输入算子水位线取最小,三路 5、3、4 得 3,进度由最慢一侧决定。本节估算每秒 1 万事件保留 1 小时的状态量,并讨论热点键倾斜。
缓冲吸收突发但引入排队。本节用三个算例说明权衡:10 秒 100 万条即每秒 10 万条;处理 10 毫秒加排队 500 毫秒等于 510 毫秒;积压 500 条、每秒排 100 条,两秒后剩 300 条。按目标调缓冲与批大小,并用积压斜率区分抖动与过载。
以网络buffer作为credit单位,分开记录序列化、缓冲容量和排队速率。
背压是下游处理不过来时沿链向上游传导的保护机制,表现为源头变慢、上游忙碌比例下降。本节用 0.85 越过 0.8 阈值即触发、队列 500 条配每秒 1000 条等于 500 毫秒两个算例,说明传播长度判定与扩容、拆热点、加并行度适用边界。
按UID、序列化、键组和格式验收升级;非整除可合法,未映射旧状态默认拒绝。
检查点完成与超时由事件顺序裁决;分别解释间隔、暂停、并发和失败容忍。
源位置、状态与通道恢复共同定义一致边界;恢复范围按拓扑和策略决定。