《大规模分布式计算深入解析》9.1 增量物化视图:插入 block 触发

增量物化视图处理进入源表的插入 block,并将转换结果写到目标表;block 与落盘 part 不是一一对应关系。它通常不自动重算历史数据,也不因源表旧行 mutation、删除或后台合并而自动撤销目标表中的贡献。

增量物化视图:插入 block 触发

增量物化视图处理进入源表的插入 block,并将转换结果写到目标表;block 与落盘 part 不是一一对应关系。它通常不自动重算历史数据,也不因源表旧行 mutation、删除或后台合并而自动撤销目标表中的贡献。

机制与确认边界

建视图时要定义历史回填、新数据切换边界、源/目标引擎和聚合状态。目标若用 SummingMergeTree 或 AggregatingMergeTree,查询可能仍需要 SUM 或 Merge 函数合并尚未物理合并的多份状态,不能只按目标当前行数假定最终正确。

实现与验证范围

模型 Mv 按每个插入块累加 key 的值,第二块继续增量;原生两批插入后查询目标聚合,并修改源表后确认目标不会自动倒扣。单次源表 100 行对目标两行不是 query_log 的 read_rows 实测,不能宣称真实查询固定省五十倍 IO。

本章机制图

flowchart TD
    IN["源表插入 block"] --> MV["增量 MV 转换"] --> TARGET["独立目标表/状态"]
    IN --> BASE["主表 part"] --> PROJ["内部 Projection"]
    Q["查询"] --> OPT["覆盖/匹配与估算"] --> BASE
    OPT --> PROJ
    MUT["源表旧行 mutation/删除"] -. "不自动撤销旧贡献" .-> TARGET

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路