《大规模分布式计算深入解析》3.3 ORC 对比与格式选型

ORC 与 Parquet 都按列存,但切法不同:Parquet 用 128MiB 的 row group 与 1MiB 的 page,ORC 用约 64MB 的 stripe 与按行数步进的 row index。本节对比两层结构与索引粒度,并给出格式选型判据。

3.3 ORC 对比与格式选型

3.1 和 3.2 拆开了 Parquet 的布局与编码。现实中还有另一个同样主流的列式格式 ORC,两者经常被拿来比较,结论却常常停在「都差不多」。它们确实解决同一个问题,但切分方式、索引粒度和生态绑定不同,选错会在特定查询上付出成倍的 IO。

这一节先把两种格式的结构摆在一起,再算一遍同样的 10GiB 数据在两种切法下的块数,最后给出可执行的选型判据。判断链仍然是:现象 → 机制 → 字节账 → 判据。

同一个目标,两种切法

Parquet 与 ORC 都把数据按列组织,都支持编码、压缩、统计与谓词下推。差别在「先按什么切」:

维度ParquetORC
一级切分row group(默认 128MiB)stripe(默认约 64MB)
一级切分依据字节数字节数
二级切分column chunk → page(默认 1MiB)stream(按列)→ row group
列内索引page index(按页)row index(按行数步长)
元数据入口文件尾部 footer文件尾部 footer + postscript
统计挂载column chunk / pagestripe / row index / bloom
主要生态Spark、Iceberg、DeltaHive、Tez、Presto/Trino

Parquet 的切法是「字节优先」:row group 按 128MiB 攒,page 按 1MiB 切,边界由写入缓冲决定。ORC 的切法是「行数优先」:stripe 按字节攒,但 stripe 内的索引按固定行数步进,默认每 10,000 行记一次。这个差别直接影响点查能定位到多细。

ORC 的文件结构:file → stripe → stream

ORC 文件由三部分组成:文件头、若干 stripe、文件尾部。每个 stripe 内部再分成索引区、数据流区与 stripe footer:

┌──────┬───────────────┬───────────────┬─────┬──────────────────┬────────────┬─────┐
│ "ORC"│ stripe 1      │ stripe 2      │ ... │ FileFooter       │ Postscript │ psLen│
└──────┴───────────────┴───────────────┴─────┴──────────────────┴────────────┴─────┘
         index + data + stripe footer           stripe 列表/统计    压缩/长度
层级内容作用
stripe一批行的列式数据一级裁剪与并行单位
stream某列的数据流(DATA/PRESENT/LENGTH 等)按列读取与编码
row indexstripe 内每 10,000 行的 min/max、位置行组级裁剪
stripe footer该 stripe 的流位置与统计定位 stream
file footer全部 stripe 的列表与列统计打开文件后的第一张地图

ORC 把索引放在 stripe 内部,Parquet 把页索引放在 footer 或独立区域。这带来一个实际差别:ORC 读一个 stripe 的索引必须先定位 stripe footer;Parquet 读完 footer 就能拿到所有 column chunk 的统计,page index 再按需读取。

同样的 10GiB,切出多少块

用 3.1 的口径算 Parquet,再用 ORC 的默认 stripe 算一遍:

10GiB = 10240MiB
Parquet row group:10240 / 128 = 80 个
ORC stripe(按 64MiB 折算):10240 / 64 = 160 个
若列块有 8 MiB、页预算为 1 MiB,两者整除时示意为 8 页
格式一级块数一级块大小二级块二级块数(单列)
Parquet模型为 80 个 row group模型为 128 MiBpage每列按实际文件分别计数
ORC160 个 stripe约 64MiBrow index 每 10,000 行由行数决定

块数多不一定是好事。ORC 的 160 个 stripe 让并行切分更细,但 footer 要记录更多 stripe 元数据;Parquet 的 80 个 row group 元数据更轻,但单个块更大,误判时多读的字节更多。选择块大小,本质是在「元数据开销」与「裁剪精度」之间取平衡。

索引粒度:page index 与 row index

两种格式都能在块内继续定位,但定位的「尺子」不同:

索引粒度依据记录内容典型用途
Parquet page index每页 1MiB每页 min/max、null 数、偏移跳过整页
ORC row index每 10,000 行每段 min/max、位置跳过一段行

Parquet 的粒度由字节决定,ORC 的粒度由行数决定。同样 128MiB 数据,如果行很宽(比如每行 1KB),10,000 行就是 10MB,ORC 的索引段远大于 Parquet 的 1MiB page;如果行很窄(比如每行 10B),10,000 行只有 100KB,ORC 的索引反而更细。

这解释了一个常见现象:宽表点查时 Parquet 的 page 级裁剪更准,窄表扫描时 ORC 的 row index 足够用。索引粒度没有绝对优劣,要看行宽与查询形态。选型时只记「Parquet page 更细」是不完整的,必须把行宽带进账本。

编码与压缩:两套相近的武器

ORC 与 Parquet 的编码能力高度重叠,但默认策略不同:

能力ParquetORC
整数编码RLE/bit-packing、DeltaRLE v2、Delta
字符串编码字典 + 位打包索引字典 + 直接串
布尔/层级RLERLE
压缩算法Snappy、Zstd、GzipZlib、Snappy、Zstd
字典回退超过阈值回退 PLAIN/Delta字典过大时回退直接串

两边的压缩算法可以选同一套,所以「ORC 压缩率更高」或「Parquet 压缩率更高」都不是格式定律,而是默认配置与数据形态的结果。真正的差别在编码默认值与回退策略:Parquet 对字典索引做位打包,ORC 的 RLE v2 对整数序列更 aggressive。用同一份数据、同一套压缩算法实测,才能判断哪边更省。

点查路径:两种格式各在哪一步省字节

点查(按主键或高选择性条件取少量行)是两种格式差异最明显的场景:

Parquet:footer → row group 统计 → column chunk → page index → 命中页
ORC:    postscript/footer → stripe 统计 → row index → 命中行段 → 读 stream
步骤Parquet 跳过单位ORC 跳过单位
一级row groupstripe
二级pagerow index 段
三级页内解码后过滤段内解码后过滤
统计位置footer / page indexstripe footer / row index

点查的关键不是「谁能跳过」,而是「谁能在不读数据页的前提下跳得更准」。Parquet 的 page index 按 1MiB 切,命中一页只需解压一页;ORC 的 row index 按 10,000 行切,命中一段要解压这段对应的 stream。行宽越大,ORC 的段越大,点查读得越多;行宽越小,两者差距缩小。

ORC 还有一个 Parquet 早期没有的优势:stripe 级布隆过滤器。对于高基数等值点查,布隆能在 row index 之外再过滤一层;Parquet 后来也支持 column chunk 级布隆与 Puffin,但生态成熟度因引擎而异。这个差异会在 4.2 展开。

选型判据:四条硬规则

lab 的用例 44 把选型压缩成一条可执行规则:

if (点查为主 && 不在 Spark 生态) → ORC
else                              → Parquet

这条规则背后有四条更细的判据:

场景选择理由
点查为主,Hive/Tez/Presto 生态ORCrow index、stripe 布隆、Hive 集成成熟
Spark 生态(批处理、SQL、ML)Parquet向量化读取器、page index、默认格式
湖表(Iceberg/Delta/Hudi)Parquet生态默认,元数据与统计集成完整
深层嵌套、宽 schemaParquetDremel 层级编码成熟,列投影友好
扫描聚合为主、非点查Parquetpage 级裁剪与并行扫描生态更广

「点查为主」是必要条件的全部,不是充分条件。如果点查发生在 Spark 里,规则仍然选 Parquet,因为 Spark 的 Parquet 向量化读取器与 page index 支持更成熟;如果点查发生在 Hive 里,ORC 的 row index 与 stripe 布隆更顺手。格式选型从来不是纯技术比较,而是「查询形态 × 生态」的联合判断。

用例 44 的另一半同样重要:只要不是「点查为主且非 Spark」,就选 Parquet。这意味着 Parquet 是默认项,ORC 是特定场景的优化项。把 ORC 当默认、Parquet 当例外,会在 Spark 与湖表场景里付出生态成本。

共存与迁移:不要为了格式重写全部数据

现实中两种格式往往共存,迁移要算清三笔账:

迁移方向收益成本建议
Parquet → ORC点查索引更贴合 Hive重写全部文件、双读兼容只迁点查热表
ORC → Parquet进入 Spark/湖表生态重写、校验、元数据重建新表直接用 Parquet
双格式并存各取所长存储翻倍、写入两遍仅核心表短期使用

迁移的判据是「查询收益是否大于重写成本」。一张 TB 级表重写一遍的 IO 与时间,往往超过点查优化省下的时间;只有点查占比高、表被频繁访问时,迁移才划算。新表则没有历史包袱,直接按生态默认选。

格式不是孤立决策。表格式(Iceberg/Delta/Hudi)、缓存层、压缩算法、文件大小都会影响最终性能;ORC 与 Parquet 只是其中一层。把格式选型放回整条读路径看,才不会为了一个局部最优牺牲全局。

块大小怎么调:从默认值到负载

默认值不是定律。Parquet 的 row group size 与 ORC 的 stripe size 都可在写入时调整,调整方向由查询形态决定:

负载特征块大小倾向原因
点查多、过滤列分散偏小块内裁剪更细,误判少读字节
全表扫描、聚合偏大元数据少,顺序读更连续
宽表、列很多偏小单块内存压力小,列投影灵活
窄表、行数多偏大块数与 footer 开销可控
写入频繁、小批追加偏小每批落一个块,避免巨型块

块大小的调整会连带改变元数据量。把 Parquet 的 row group 从 128MiB 调到 64MiB,10GiB 的块数从 80 变成 160,footer 里的 column chunk 条目翻倍;把 ORC 的 stripe 从 64MB 调到 128MB,160 个 stripe 减到 80,元数据减半但点查误判时多读一倍。没有免费的方向,只有与负载匹配的方向。

调整直接收益直接代价
块变小裁剪更细、并行块更多元数据膨胀、压缩率略降
块变大元数据轻、顺序读好误判成本高、内存压力大

调块大小的正确姿势是先固定查询集,再测扫描字节与耗时。只看文件大小或压缩率,会得出与查询无关的结论;只有把「命中块数 × 单块字节」放进账本,才能判断调整是否真的省了 IO。

三个常见误解

误解一:ORC 和 Parquet 都是列式,性能肯定一样。 真相:两者的一级切分(stripe 与 row group)、二级索引(row index 与 page index)粒度不同,宽表点查与窄表扫描的表现会分化。

误解二:ORC 的点查一定比 Parquet 快。 真相:ORC 的优势依赖 Hive 生态与行宽;在 Spark 里 Parquet 的向量化读取器与 page index 往往更成熟,用例 44 也把 Spark 生态排除在 ORC 之外。

误解三:选型只看压缩率。 真相:压缩算法两边可选的相同,真正的差别在切分、索引粒度与生态集成;只看压缩率会忽略点查路径与迁移成本。

一句话总结本节

ORC 与 Parquet 都把 10GiB 切成列式块,但 Parquet 按 128MiB 切 80 个 row group、每列的页数按列块大小和写入器策略确定,ORC 按约 64MB 切 160 个 stripe、再按每 10,000 行记 row index;索引粒度一个按字节、一个按行数,宽表点查偏 Parquet、窄表 Hive 点查偏 ORC。选型判据是:点查为主且不在 Spark 生态选 ORC,否则选 Parquet。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证格式选型判据:

  • 源码:src/format/Format.java 与 src/format/FormatSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 44 验证「点查为主且不在 Spark 生态时选 ORC,其余情况选 Parquet」;同时复用 3.1 的布局口径,用例 28 验证「10GiB 按 128MiB 切成 80 个 row group」,用例 29 验证「8 MiB 单列预算与 1 MiB 页目标整除时为 8 页」,作为与 ORC stripe 对比的基线。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:先看两种格式的切分单位 → 用同一份 10GiB 数据算出 80 个 row group 与 160 个 stripe 的差别 → 比较 page index 与 row index 的粒度依据 → 把行宽与查询形态带进点查路径 → 最后用「点查为主且非 Spark 选 ORC,否则 Parquet」收口。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图