《大规模分布式计算深入解析》5.3 聚合下推与预聚合(rollup 与 MV)

“聚合下推”可能指连接器把计算交给源端、优化器以持久化汇总回答查询,或引擎在 Exchange 前做局部聚合。三种路径的输入和失败边界不同。

5.3 聚合下推与预聚合(rollup 与 MV)

“聚合下推”可能指连接器把计算交给源端、优化器以持久化汇总回答查询,或引擎在 Exchange 前做局部聚合。三种路径的输入和失败边界不同。

路径状态何时形成观察位置主要约束
Connector 下推本次查询在远端生成TableScan 与源端查询方言、类型、准入和远端成本
物化 Rollup刷新后跨查询复用MV 扫描、刷新水位粒度、版本、口径与权限
Partial 聚合本次查询的各实例PARTIAL 和 Exchange每实例组数和状态可合并性

日到月的可复算例

一日有效金额只有 10,一日有 20、30、40 且另有 NULL 时,以日平均值等权合并得到 20,原始明细平均为 25。Rollup 需要保留 SUM(amount) 和 COUNT(amount)。日期、币种与时区仍要按同一语义绑定。源表迟到或历史分区重写后,MV 必须重新覆盖受影响的快照或分区;详见第 9.2 节 。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型 · sql-counterexamples.py 的语义对照。本章架构或流程见本章机制图 。

Trino Connector 下推 · StarRocks 物化视图改写

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图