《大规模分布式计算深入解析》8.3 下推与 Top-N:先证明等价再减流量

过滤和列裁剪在保证语义时可下推,聚合可用状态分解;任意子查询、去重或 LIMIT 不能不加条件地独立放到分片。全局排序 Top-N 通常需要各片按同一排序规则保留局部 Top-N,再全局归并。

下推与 Top-N:先证明等价再减流量

过滤和列裁剪在保证语义时可下推,聚合可用状态分解;任意子查询、去重或 LIMIT 不能不加条件地独立放到分片。全局排序 Top-N 通常需要各片按同一排序规则保留局部 Top-N,再全局归并。

机制与确认边界

若各片先无序取 N 行,随后协调者排序,可能丢掉真正的全局最大值。ORDER BY、NULL 顺序、并列值、OFFSET、LIMIT BY、聚合和 DISTINCT 都会改变安全规则,不能只因最终还会截断就认定正确。

实现与验证范围

构造一片把最大值放在未排序尾部的反例,比较无序局部 LIMIT 与局部有序 Top-N。原生计划说明优化器实际推了什么,结果与完整查询对照。模型只计算显式传输状态,不把返回一个 selected 参数的恒等函数当作实现下推。

本章共享图解见 8.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

状态与时序补图

flowchart TD
    IN["分片数据含尾部最大值"] --> BAD["无序截断局部N行"] --> LOST["可能丢全局Top-N"]
    IN --> SORT["按相同全局排序规则取局部Top-N"] --> MERGE["发起端归并并截断"]
    MERGE --> CHECK["另核对OFFSET、并列、NULL、DISTINCT与聚合"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路