《大规模分布式计算深入解析》9.3 预聚合表:粒度、维度和可合并性

预聚合是否能回答查询,需要同时检查分组维度、过滤列、时间边界与状态可合并性。查询分组键是存储分组键子集只是必要条件之一;丢失的筛选维度和明细时间无法凭空恢复。

预聚合表:粒度、维度和可合并性

预聚合是否能回答查询,需要同时检查分组维度、过滤列、时间边界与状态可合并性。查询分组键是存储分组键子集只是必要条件之一;丢失的筛选维度和明细时间无法凭空恢复。

机制与确认边界

小时可向对齐的日归并,日可向对齐且时区一致的周/月归并;未对齐窗口或跨时区边界不能直接按整数桶相加。AVG 需要保留 sum/count,近似去重需要兼容的算法状态,不能对均值或 distinct 计数简单再求和。

实现与验证范围

模型 canRollup 显式接收粒度、边界对齐和可合并标记,测试不能由日恢复小时、未对齐周不合法。真实系统应将这些约束变成元数据或明确 SQL,而不是声称任何查询都会自动回退明细或命中普通汇总表。

本章共享图解见 9.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路