《大规模分布式计算深入解析》15.1 实时数仓:采集到查询的确认边界

Kafka、流处理、ClickHouse 与 BI 形成端到端数据链路,每层都有自己的提交/可见点。ODS/DWD/ADS 是建模层次,不保证每个项目都必须各有一张表;去重、迟到修正和数据权限应与业务合同一起设计。

实时数仓:采集到查询的确认边界

Kafka、流处理、ClickHouse 与 BI 形成端到端数据链路,每层都有自己的提交/可见点。ODS/DWD/ADS 是建模层次,不保证每个项目都必须各有一张表;去重、迟到修正和数据权限应与业务合同一起设计。

机制与确认边界

Kafka 消费位点、ClickHouse 块写入确认、物化视图目标结果和读副本追齐不是一个事务号。ReplacingMergeTree 的合并去重也不能直接作为 DWD 在任意时刻无重复的保证。延迟预算应按各段时钟观测,不能把 00:00→00:03 未标单位的时间线称为三秒实测。

实现与验证范围

本卷实验验证数据库内部分机制,未连接真实 Kafka 与 BI,不声称跑过端到端精确一次或三秒延迟。应用验收需注入写成功/位点失败、位点成功/写失败、重复批次、迟到与源删除,并用同一事件 ID 做对账。

本章机制图

sequenceDiagram
    participant K as Kafka
    participant C as 消费者
    participant H as ClickHouse
    C->>K: 读取批次与位点
    C->>H: 稳定 token/事件 ID 写入
    H-->>C: 成功、失败或结果不确定
    C->>K: 按协议提交位点
    Note over C,H: 写成功而位点未提交可能重放;反序则可能漏数据
    Note over K,H: 两个确认点不是跨系统原子事务

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路