《大规模分布式计算深入解析》10.3 索引成本:行命中率与块命中率分开

建索引的收益是省下的数据读取和计算,代价是索引扫描、写入计算、存储及可能的缓存竞争。选择率术语要注明是行比例还是块比例;同样 5% 的行命中可以集中在少量块,也可以散布到所有块。

索引成本:行命中率与块命中率分开

建索引的收益是省下的数据读取和计算,代价是索引扫描、写入计算、存储及可能的缓存竞争。选择率术语要注明是行比例还是块比例;同样 5% 的行命中可以集中在少量块,也可以散布到所有块。

机制与确认边界

一个十块表若每块都有至少一行匹配,行选择率即使很低也可能零裁剪;若集中在一块,才可能读一块。给定索引读取成本 I、存活块成本 B 与全扫成本 S,可先用 I+B<S 作简化决策,再测量真实冷热缓存和查询频次。

实现与验证范围

模型不再固定 10% 阈值,而测试实际给定成本的比较。原生观察 Parts/Granules 与 query_log 的 read_rows/read_bytes,两者分别是计划候选与实际读取。不要把主键已覆盖的谓词再建多个索引并假定收益可以线性相加。

本章共享图解见 10.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路