《大规模分布式计算深入解析》1.3 MPP、批处理与流引擎的执行模型对照

交互 SQL、批作业与持续流常采用不同的交换和状态策略。沿数据有界性、延迟目标和恢复粒度比较,能解释它们为何共享算子却表现不同。

1.3 MPP、批处理与流引擎的执行模型对照

交互 SQL、批作业与持续流常采用不同的交换和状态策略。沿数据有界性、延迟目标和恢复粒度比较,能解释它们为何共享算子却表现不同。

观察轴交互式 MPP SQL有界批处理持续流
生命周期提交一次查询并返回结果读取有限输入,生成结果或写出订阅输入并持续输出
交换常以流水缩短首行时间,也可外部化常保留 Shuffle 输出供下游拉取通道可长期运行并受背压
重试查询级,或物化边界支持的 Task 级重用可用输出,重算失效任务回到已完成 Checkpoint,重放输入
一致性查询绑定版本,写入另有提交协议输出的提交与去重依赖数据源和 Sink状态恢复与外部副作用各有要求

同一聚合的两条时间线

对有界订单表按地区聚合。流水 Exchange 中收到第一个部分状态后即可消费,上游还在读取;最终状态仍需等相关输入结束。任务级容错模式把中间结果提交到可重读存储,失败时消费者可重读已发布分区,但额外占用读写和存储资源。一个批引擎的物化 Shuffle 仍可能与下游拉取交叠。持续窗口在水位线与触发条件满足时输出,Checkpoint 用于恢复,端到端效果取决于可重放 Source 和 Sink 协议。联系卷二 与卷三 对照这些边界。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

Trino 容错执行 · Spark 3.5.7 RDD 编程指南 · Flink 1.20 Checkpoint 指南

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图