《大规模分布式计算深入解析》7.3 数据本地性:搬部分状态还是搬原始行

协调者把能安全下推的算子送到持有分片数据的节点执行,回传可能是过滤行或聚合状态。源数据本地读取可减少网络,但整个查询仍需发子查询、传状态和返回结果;不能称总跨网字节为零。

数据本地性:搬部分状态还是搬原始行

协调者把能安全下推的算子送到持有分片数据的节点执行,回传可能是过滤行或聚合状态。源数据本地读取可减少网络,但整个查询仍需发子查询、传状态和返回结果;不能称总跨网字节为零。

机制与确认边界

设四片各 2500 行、各有 50 个组,部分状态 24B,则只计状态 payload 的网络为 4×50×24=4800B;原始行若宽度不同,不能拿 200 行/10000 行的比值直接当字节比。压缩、协议和最终结果另计。

实现与验证范围

缺失分片数据与远程读也不是同义词:无可用副本可能导致查询失败或按配置跳过,而非自动把所有源数据拉回。实验 Dist.aggregateBytes 接受组数及状态宽度,原生用实际查询日志与拓扑核对,说明高基数时预聚合可能缩不小。

本章共享图解见 7.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路