实时数仓:采集到查询的确认边界
Kafka、流处理、ClickHouse 与 BI 形成端到端数据链路,每层都有自己的提交/可见点。ODS/DWD/ADS 是建模层次,不保证每个项目都必须各有一张表;去重、迟到修正和数据权限应与业务合同一起设计。
机制与确认边界
Kafka 消费位点、ClickHouse 块写入确认、物化视图目标结果和读副本追齐不是一个事务号。ReplacingMergeTree 的合并去重也不能直接作为 DWD 在任意时刻无重复的保证。延迟预算应按各段时钟观测,不能把 00:00→00:03 未标单位的时间线称为三秒实测。
实现与验证范围
本卷实验验证数据库内部分机制,未连接真实 Kafka 与 BI,不声称跑过端到端精确一次或三秒延迟。应用验收需注入写成功/位点失败、位点成功/写失败、重复批次、迟到与源删除,并用同一事件 ID 做对账。
本章机制图
sequenceDiagram
participant K as Kafka
participant C as 消费者
participant H as ClickHouse
C->>K: 读取批次与位点
C->>H: 稳定 token/事件 ID 写入
H-->>C: 成功、失败或结果不确定
C->>K: 按协议提交位点
Note over C,H: 写成功而位点未提交可能重放;反序则可能漏数据
Note over K,H: 两个确认点不是跨系统原子事务
复现与资料
下载本卷实验包
,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。