《大规模分布式计算深入解析》5.3 重试、块去重与 Kafka 位点的边界

插入块去重依赖表引擎、相关设置、块内容/顺序、token、窗口与物化视图链路。稳定 token 可帮助识别同一次逻辑批次,但不是任意业务主键的全局唯一约束;窗口过后或重新分块可能再次插入。

重试、块去重与 Kafka 位点的边界

插入块去重依赖表引擎、相关设置、块内容/顺序、token、窗口与物化视图链路。稳定 token 可帮助识别同一次逻辑批次,但不是任意业务主键的全局唯一约束;窗口过后或重新分块可能再次插入。

机制与确认边界

外部消费者写 ClickHouse 与提交 Kafka 位点没有因为“放入同批”就成为跨系统原子事务。先写数据后提交位点,崩溃可能重放并重复;先提交位点再写数据,崩溃可能漏数据。要声称端到端精确一次,必须提供可恢复协议及这些故障切点的证据。

实现与验证范围

本包 Dedup 用容量受限的块 token 集合,测试窗口内重试被拒、淘汰后可能接受。ReplacingMergeTree 的合并去重与此不同。原生去重若只在特定引擎/窗口测得,就按该范围记录,默认消费链路按至少一次与对账处理。

本章共享图解见 5.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

状态与时序补图

sequenceDiagram
    participant K as 消费位点
    participant C as 消费者
    participant H as 外部分析表
    C->>H: 写批次,稳定 token/行ID
    H-->>C: 已成功或结果不确定
    Note over C,H: 此处崩溃而位点未提交,可能重放
    C->>K: 提交位点
    Note over K,H: 若反过来先交位点,此处写失败可能漏数据
    C->>H: 失败恢复后重试与对账
    Note over C,H: 去重窗口/分块变化必须进入验收

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路