《大规模分布式计算深入解析》12.2 结果去重、幂等与重试放大

重试协议要防止重复 Attempt 的输出被多个消费者当成不同的逻辑分区。累计工作量与同时驻留资源属于两个预算。

12.2 结果去重、幂等与重试放大

重试协议要防止重复 Attempt 的输出被多个消费者当成不同的逻辑分区。累计工作量与同时驻留资源属于两个预算。

按逻辑任务选择已发布输出

用 Query、Stage、逻辑 Task/分区标识工作。Attempt ID 标识该逻辑任务的一次尝试。两个 Task 可以各自有 Attempt 0,因此 query + stage + attempt 不足以定位。每个 Attempt 写隔离的暂存目标。只有符合提交协议的成功输出可发布给下游,最大 Attempt ID 可能失败。客户端取消与最终提交并发时,需要原子终态或代际栅栏。已发布版本由消费端按逻辑分区读取一次。

算清累计与峰值

原尝试加 3 次重试共有 4 次。每次完整工作且没有重用时,累计工作量上界近似为 4 份;若尝试串行并及时回收,驻留峰值可仍是 1 份。追加写还要有 Sink 自己的幂等键或事务提交,采用 upsert 也须确认同一业务键、版本顺序和副作用可重放。用实验包注入“已成功发布后又出现失败 Attempt”,验证下游不重复读也不切到失败文件。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型 · sql-counterexamples.py 的语义对照 · retry-trajectory.py 的故障轨迹。本章架构或流程见本章机制图 。

Trino 容错执行

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图