《大规模分布式计算深入解析》6.2 Eager、Cooperative 与增量协议

按撤销规模和协议路径比较消费暂停。

按撤销规模和协议路径比较消费暂停。

实现机制

classic eager 先广泛撤销,再分配。cooperative assignor 在多轮中只转移需要变更的分区,仍有交接协议。

KIP-848 是独立的新协议路径,使用 broker 端的 member epoch 与增量状态。业务阻塞还需分析对 rebalance 回调的影响。

本章流程图见 6.1 Classic JoinGroup 和 SyncGroup 。

分区所有权交接

flowchart TD
    M["成员变更"] --> G{"组协议"}
    G -- "classic eager" --> E["撤销旧分配,JoinGroup 与 SyncGroup 重新下发"]
    G -- "classic cooperative" --> C["识别需要转让的分区并先撤销"]
    G -- "consumer" --> N["协调器计算目标分配,随 heartbeat 交接"]
    C --> T["等待旧 owner 放弃分区"]
    N --> T
    T --> R["更新 member epoch 或 generation 并启动读取"]
    E --> R

验证

用三分区加一个成员演算三种模式的 revoke 数与可能暂停范围。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图