3.1 Parquet 布局:row group、page 与 column chunk
前面两章讨论的是「一行数据算得多快」:火山模型逐行调用、向量化按批处理、Push 模型由算子主动拉取。从这一章开始,问题换成「一列数据在磁盘上怎么摆」。执行引擎读得慢,很多时候不是算子写得差,而是文件布局让它读了本不必读的字节。
Parquet 的布局可以用一句话概括:先按行把数据切成 row group,再按列把 row group 切成 column chunk,最后按大小把 column chunk 切成 page。四层结构各自承担不同职责:row group 管并行与内存,column chunk 管投影,page 管编码与统计。
四层结构:从文件到 page
| 层级 | 定义 | 主要职责 | 典型单位 |
|---|---|---|---|
| 文件 | 一个 .parquet 对象 | 承载 schema 与全部数据 | 一个对象 |
| row group | 若干行的集合,内部按列存储 | 并行读取、内存缓冲、统计边界 | 128MiB |
| column chunk | 某列在一个 row group 内的全部数据 | 列投影的最小连续 IO 单元 | 与 row group 同寿命 |
| page | column chunk 内的编码块 | 编码、压缩、页级统计 | 1MiB |
这四个名字容易混,因为「块」在不同语境指不同层。读一个列,拿到的是若干 column chunk;读一个 column chunk,真正解压的是它内部的 page。row group 本身不直接对应一次 IO,它是一组 column chunk 的容器。
lab 的用例 28 按二进制单位算 row group 数:
总数据量 = 10GiB = 10 × 1024MiB = 10240MiB
row group 大小 = 128MiB
row group 数 = ceil(10240 / 128) = 80 个
用例 29 继续往下切:
假设单个列块约 8 MiB,页目标约 1 MiB
单列块约 8 MiB,数据页目标 1 MiB,页数示意约 8
如果这张表有 10 列,column chunk 总数是 80 × 10 = 800 个,各列块的页数需独立读取或计算。page 数量决定了统计信息的粒度,也决定了元数据的大小;后面的裁剪能不能跳过数据,首先取决于这一层切得够不够细。
文件头尾:footer 里有什么
Parquet 文件不是从头顺序读完的。它的入口在文件尾部:
┌────────┬──────────────────────────┬─────────────────────┬──────────┬────────┐
│ "PAR1" │ column chunk 数据区 ... │ FileMetaData(Thrift)│ footer长度│ "PAR1" │
└────────┴──────────────────────────┴─────────────────────┴──────────┴────────┘
4B 按列排列 schema/row group/统计 4B 4B
读取器先读尾部 8 个字节,拿到 footer 长度,再回跳读取 FileMetaData。footer 里至少包含三类信息:
| 信息 | 内容 | 用途 |
|---|---|---|
| schema | 列名、类型、嵌套结构、重复/定义层级 | 把列式数据还原成行 |
| row group 列表 | 每个 row group 的行数、字节偏移、总大小 | 定位与并行切分 |
| column chunk 元数据 | 编码、压缩、数据偏移、min/max、null 数 | 投影、裁剪、解码 |
footer 是「先看地图再搬货」的地图。没有它,读取器只能顺序扫描;有了它,才能只打开需要的 column chunk。代价是 footer 必须完整读入内存,宽表或小文件很多时,footer 本身会成为不可忽视的开销。
row group 的预算与列块大小
row group 水平切分逻辑行。一个 row group 对每个叶子列有一个 column chunk。用理想等分的教学预算,10 GiB ÷ 128 MiB = 80 组。真实 writer 会按行数、缓冲大小、数据形状与实现策略决定边界,最后一组也可较小。
列块包含该组这一列的数据,列字节可能相差几个数量级。假设某个列块的未压缩预算约 8 MiB,数据页目标 1 MiB,得到约 8 个页的估算。读取实际页数应解析页头或使用可用的页索引,不能用整个行组预算除以页目标推导每列的页数。
column chunk:列投影真正省下的 IO
行式存储把一行的所有列连续放在一起,读一列也要把整行读进来;列式存储把同一列的值连续放在一起,读一列只碰这一列。差别不在「压缩率」,而在「读路径」:
| 查询形态 | 行式存储读取 | 列式存储读取 |
|---|---|---|
| 读整行 | 一次连续读,友好 | 每列各读一段,寻址多 |
| 读少数列 | 读完整行,浪费宽列 | 只读目标列,省掉其余 |
| 聚合一列 | 读完整行,浪费带宽 | 只读该列,顺序扫描 |
| 点查整行 | 一次定位 | 多列分别定位后拼装 |
列式存储不是无条件更快。宽表读少数列时它优势明显;但若查询要读全部列,列式反而多出多次寻址与拼装成本。分析型负载通常只碰少数列,所以列式赢;交易型负载每次都要整行,所以行式更合适。
column chunk 还是统计与布隆过滤器的挂载点。footer 里每个 column chunk 都带自己的 min/max、null 数;4.2 要讲的布隆过滤器也按 column chunk 组织。列裁剪省掉的是「不读」,统计裁剪省掉的是「读了也不用」,两者叠加才是完整的 IO 优化。
page 的编码与访问
列块由数据页以及可能存在的字典页等组成。页头记录页类型、大小和编码等信息,页数据依据类型解释。Page Index 可位于独立字节区间,由列块元数据定位。ColumnIndex 提供相应页级统计,OffsetIndex 提供偏移与行范围。支持页索引的 reader 可在读取页负载前据此排除不匹配的范围;缺失可用统计时保留候选。 Parquet 文件格式 · Parquet Page Index
page index:让 page 级跳过成为可能
早期 Parquet 只有 column chunk 级统计,读取器即使知道某个 page 不可能命中,也必须把整个 chunk 解压后才能确认。Page Index(ColumnIndex 与 OffsetIndex)把每页的 min/max 与偏移单独存出来,读取器可以先读索引、再决定解压哪些页。
| 索引 | 记录内容 | 作用 |
|---|---|---|
| ColumnIndex | 每页 min/max、null 数 | 判断该页是否可能命中 |
| OffsetIndex | 每页在文件中的偏移与大小 | 直接 seek 到目标页 |
没有 page index,page 只是压缩单位;有了 page index,page 才成为裁剪单位。4.1 的用例 30 会给出最小例子:某页 min=10、max=90,查询 x > 95,这一页可以直接跳过。这个判断之所以成立,靠的正是页级统计,而不是把页读出来再过滤。
写入时的顺序:先攒行,再转列
Parquet 的写入不是「来一行写一行」。典型流程是:
接收行 → 写入内存 row group 缓冲(按列组织)
→ 达到 128MiB 或行数阈值 → 逐列 flush 成 column chunk
→ 每个 column chunk 内按 1MiB 切 page、编码、压缩
→ 记录每页统计与偏移
→ row group 完成后写 footer
这个顺序决定了两个事实:row group 一旦落盘就不能再追加,所以更新只能重写整个 row group;page 的边界由写入缓冲决定,所以同一份数据用不同批次写入,page 统计可能不同。湖表格式的 merge-on-read 与 compaction,本质上就是在管理这些不可变块的重写代价。
嵌套结构:列式布局怎么装下 struct 与 list
列式布局最先让人困惑的地方是嵌套:一行里可能有 struct,struct 里可能有 list,list 里又是 struct。Parquet 不为每个嵌套层级单独建文件,而是把每个叶子列压成一条 column chunk,用重复层级与定义层级还原结构。
| 层级信息 | 回答的问题 | 还原时的作用 |
|---|---|---|
| 重复层级 | 这个值属于第几层重复字段的第几个元素 | 决定 list 的边界 |
| 定义层级 | 从根到这个值经过了多少个可选字段 | 判断该位置是否为空 |
| 值 | 叶子列的实际数据 | 填充最终值 |
嵌套越深,层级信息占用的字节越多。一个 list<struct<...>> 的叶子列,除了值本身,还要为每个值存两个小整数。列式格式对「宽而浅」的表最友好;对「深而窄」的嵌套结构,层级开销可能超过数据本身,这也是很多系统在写入前把嵌套拍平的原因。
拍平不是没有代价:拍平后行变宽、重复数据变多,压缩率会下降。选择「保留嵌套」还是「拍平」,要比较层级开销与重复开销,而不是只看 schema 好不好看。
读路径:一次查询到底碰了哪些字节
把前面的结构串起来,一次列式读取的完整路径是:
1. 读文件尾部 8B → 得到 footer 长度 → 读 FileMetaData
2. 用 row group 统计裁掉不相关的 row group
3. 用列投影选出需要的 column chunk,其余一律不读
4. 读目标 chunk 的 page index(若有)→ 裁掉不相关的 page
5. 只对命中的 page 做解压与解码
6. 按重复/定义层级把值拼回行,交给上层算子
| 步骤 | 读入的字节 | 可跳过的东西 |
|---|---|---|
| 读 footer | 元数据 | 整张表的布局未知部分 |
| row group 裁剪 | 统计 | 整块 row group |
| 列投影 | 目标列 | 未投影的 column chunk |
| page index | 页统计 | 不可能命中的 page |
| 解压解码 | 命中页 | 其余所有页 |
这条路径上有三次「不读」的机会:不读无关 row group、不读无关列、不读无关 page。三次都生效,扫描量才接近「查询真正需要的字节」;任何一次失效,读取器就会退回到更粗的块。执行引擎的 IO 优化,大半是在保证这三次机会都不被浪费。
三个常见误解
误解一:row group 越大,压缩率越高,所以越大越好。 真相:大 row group 省元数据,但一次误判要多读多解压,且单块内存压力上升;128MiB 是并行度、内存与裁剪精度的折中。
误解二:列式存储读任何查询都比行式快。 真相:列式只在「读少数列」时省 IO;读全部列时反而多出寻址与拼装成本,行式的一次连续读更友好。
误解三:有 min/max 统计就能跳过 page。 真相:统计必须与谓词区间不相交才可跳过;统计重叠、缺失或未写 page index 时,读取器只能保守地读完整块。
一句话总结本节
Parquet 先按行组织组,再在每组内按叶列组织列块和页面。规划读取时从元数据得出实际列块与页的位置,目标大小只用于估算。
Parquet 文件与页索引位置
对象上的偏移由 footer 中的列块元数据指向。这里展示未加密的常见布局,页索引为可选。
flowchart TD
F[Parquet 文件] --> M[尾部 magic 与 footer 长度]
M --> D[FileMetaData 与 schema]
D --> G1[Row group 0]
D --> G2[Row group 1]
G1 --> C1[列 a 的 column chunk]
G1 --> C2[列 b 的 column chunk]
C1 --> P[字典页与数据页及其编码]
C1 --> I[可选 ColumnIndex 与 OffsetIndex]
C1 --> B[可选 split-block Bloom]
本节 lab
FormatSuite 用例 28–29 是独立的容量算例。用例 29 的分子假设为单列列块预算,并要求整除。原生 DuckDB 对照读取真实 footer 中的 row group 与统计。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。