《大规模分布式计算深入解析》3.2 granule、mark、压缩块与跳数索引

granule 是索引与读取的重要逻辑粒度,mark 为数据流提供到压缩文件和块内位置的定位信息;压缩块不是 granule 的同义词。Wide 和 Compact part 的列组织及标记文件不同,不能通称每条 mark 永远 16B。

granule、mark、压缩块与跳数索引

granule 是索引与读取的重要逻辑粒度,mark 为数据流提供到压缩文件和块内位置的定位信息;压缩块不是 granule 的同义词。Wide 和 Compact part 的列组织及标记文件不同,不能通称每条 mark 永远 16B。

机制与确认边界

主索引沿主键做稀疏导航;skip index 对一组 granule 存摘要,其 GRANULARITY 可以大于 1。minmax 只在摘要区间与谓词不相交时安全跳过,区间相交仍可能没有任何实际匹配行。字段分布与排序相关性决定实际剪枝效果。

实现与验证范围

将自适应行数、标记格式和每个索引的粒度写进实验配置,再对照 EXPLAIN 的各级候选数。模型使用显式数组块测试区间相交,不解析产品 marks 文件;原生文件清单与索引计划属于不同证据,不用一个简化偏移乘法声称实现产品格式。

本章共享图解见 3.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路