《大规模分布式计算深入解析》15.3 微批的局限与 Flink 的动机:卷三入口
微批的四个局限都是结构性的:延迟有「批间隔」下界、状态只在批边界更新、事件时间处理以批为单位、每批都有固定开销。这些无法靠调优消除,只能换模型。Flink 的动机正在于此:连续处理、屏障式一致点、逐条状态更新。本节收束卷二,并给出卷三的问题清单。
category
微批的四个局限都是结构性的:延迟有「批间隔」下界、状态只在批边界更新、事件时间处理以批为单位、每批都有固定开销。这些无法靠调优消除,只能换模型。Flink 的动机正在于此:连续处理、屏障式一致点、逐条状态更新。本节收束卷二,并给出卷三的问题清单。
全书的五条「重放与一致」主线里,卷二负责第二条:血缘重算。从 RDD 的惰性求值与血缘,到 DAG 的阶段划分、shuffle 的可靠性、检查点截断、任务重试与推测、流处理的微批重放,所有章节都在回答同一个问题:数据丢了,怎么以最小代价重来一次?
回顾全书,Spark 的每个设计都能放进五个轴:抽象层次(RDD → DataFrame)、执行模型(DAG + 流水线)、数据传递(内存/落盘)、容错(血缘/检查点)、资源(动态分配)。每个轴上它都选了一个「折中位置」,而不是极值。本节把卷二的整体设计空间收成一张图,并指出每个选择的代价。
Lambda 架构用两条链路(批 + 流)分别保证准确与实时,代价是两套代码、两套口径;Kappa 架构只保留流,用重放历史来补准确,代价是「重放成本」与「顺序约束」。第三代统一趋势是「同一份代码、两种运行模式」,而数据湖表格式让批与流共用同一张表。本节比较三条路径的代价。
Spark 与 Flink 的差别不是「谁更快」,而是「把谁当原生」:Spark 把流当小批,Flink 把批当有界流。前者延迟有秒级下界但生态与批处理强,后者毫秒延迟但状态与 checkpoint 模型更复杂。本节讲两种模型的延迟来源、状态管理差异,以及「什么业务真的需要毫秒」。
按中间产物、复用、调度和恢复比较MapReduce、Tez与Spark,避免固定百倍收益和恢复粒度的名称比较。
列式存储把「同一列的值放一起」,于是两件事成为可能:只读用到的列(列裁剪),用统计信息跳过整块数据(谓词下推)。行式存储两者都做不到。本节讲 Parquet/ORC 的行组结构、min/max 统计如何实现跳过、编码为什么高效,以及「文件大小」为什么决定下推的有效性。
写出的语义比读取更容易出错:overwrite 会整段替换、append 会累加,重跑一次作业结果可能翻倍。分区写出(partitionBy)能减少冲突范围,但也制造小文件。本节讲四种写出模式的语义、提交协议如何保证「写完才可见」,以及为什么重跑幂等要靠「覆盖」而不是「追加」。
Spark 读文件时做三件事:列举目录、按分区列推断、按块切分。分区发现决定「看得见多少数据」,分片大小决定「并行度多少」,小文件则同时拖慢列举与读取。本节讲文件源的三种组织方式、分区发现的两种模式,以及为什么「几千个小文件」比「一个 10GB 大文件」更慢。
预聚合、过滤、列裁剪可减少交换,但必须保持语义。压缩交换CPU与字节,收益依数据和瓶颈而变,不能称总是划算。高基数状态甚至可能比原始行更宽。
倾斜是高手的噩梦:集群 99% 的任务 1 分钟跑完,剩下 1 个跑了 1 小时。它的根因不是配置,而是「某个 key 的数据量远超其他」。本节讲倾斜的识别指标、加盐打散的原理与代价、热点 key 的单独处理,以及为什么 AQE 的倾斜切分只是缓解。
记录输入分区、shuffle字节、任务耗时分布、内存/spill、GC和调度延迟。分区少可能降低并发并放大单任务状态,分区多则增加调度、逻辑块和fetch开销;Sort Shuffle最终文件不能按map×reduce计。
Spark 自己不管机器,资源由 YARN 或 Kubernetes 提供。YARN 以「容器 + ApplicationMaster」为中心,K8s 以「Pod + 控制器」为中心,两者的差异影响 Driver 的存活、Executor 的创建速度与资源隔离的粒度。本节讲两种模式的结构、混部时的隔离手段,以及为什么「Executor 被 OOMKill」往往不是 Spark 配置问题。
扩缩容不是「加机器」这么简单:Executor 是一个进程,有自己的内存布局、核数与槽位、启动与回收路径。核数决定并发任务数、内存决定能缓存多少、off-heap 决定能绕开多少 GC。本节讲 Executor 从申请到回收的完整生命周期,以及扩容为什么有几十秒的延迟、为什么本地性等待要设阈值。
静态分配让作业在空闲时也占着资源,动态分配则按「待处理任务数」估算需要多少 Executor:有活加机器、空闲超时回收。它改善了集群利用率,代价是资源抖动与本地性下降——而且它几乎要求外部 Shuffle 服务同时存在,否则被回收的 Executor 会把 shuffle 输出一起带走。
区分输出模式、内置 Sink、foreachBatch 批次标识、可见性与失败恢复。
流处理的困难不在「处理新数据」,而在「记住旧数据」:聚合要维护每个 key 的累加器,join 要缓存另一侧的行。数据还可能乱序到达,所以需要水印来判断「什么时候可以认为某个时间窗口的数据到齐了」。本节讲状态的生命周期、水印的推进规则与迟到数据的三种处理策略。
结构化流没有另起一套执行引擎,而是把「无限的表」切成一个个小的有限批,复用批处理的 DAG、shuffle 与容错。代价是延迟有下界:端到端延迟 = 批间隔 + 处理时间,且永远不可能低于批间隔。本节讲微批的切分、offset 管理、checkpoint 与为什么它能天然获得批处理的精确一次。
静态优化靠估算,估算经常不准:统计信息缺失、数据倾斜、文件大小未知。「读得少」的两条路是分区修剪(读之前就知道哪些分区不用读)与自适应执行 AQE(跑完一个 stage 后按真实统计重排计划)。本节讲静态裁剪、动态裁剪、分区合并与倾斜切分,以及为什么 AQE 把「估算问题」变成了「运行期修正」。
聚合在分布式环境里要拆成两段:每个分区先局部聚合(partial),再按 key shuffle 后做全局聚合(final)。窗口则是在此之上加一层「按分区、按顺序、按帧」的限定。本节讲两阶段聚合为什么能减少 shuffle 数据量、hash 与 sort 两种聚合实现的取舍,以及窗口函数在物理层的两遍扫描。