《大规模分布式计算深入解析》2.1 行存、列存与列裁剪:读到哪些字节

行式将一行字段相邻布局,列式将一列的值集中存储;真实读写单位仍是页和压缩块,不是一个抽象单元。只取少数列的大扫描常受益于列裁剪,但行存的覆盖索引、纵向分区和缓存也能改变读取量。

行存、列存与列裁剪:读到哪些字节

行式将一行字段相邻布局,列式将一列的值集中存储;真实读写单位仍是页和压缩块,不是一个抽象单元。只取少数列的大扫描常受益于列裁剪,但行存的覆盖索引、纵向分区和缓存也能改变读取量。

机制与确认边界

查询 SELECT region,SUM(amount) WHERE day>=… 至少涉及分组列、度量列和过滤列,不能只把 SELECT 列表当读取列。PREWHERE 一类机制还可能先读过滤列,再为通过位置读取其他列,读取路径需与计划核对。

实现与验证范围

Java ioRow/ioCol 是固定宽度、无覆盖索引的理想字段单元模型;不是字节计时器。原生通过 system.parts 和 query_log 观察压缩、解压后读取及扫描行,记录列类型和编码后再比较同一查询,不用列数直接预测最终墙钟时间。

本章机制图

flowchart LR
    V["UInt8 输入"] --> RUN["连续游程"] --> SPLIT["计数超过65535则拆段"] --> ENC["每段1B值+2B计数"] --> DEC["解码并逐元素核对"]
    V --> SORT["排序改变游程"] --> RUN
    ENC --> BYTES["实际 byte 数,可能比原始更大"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路