3.3 ORC 对比与格式选型
3.1 和 3.2 拆开了 Parquet 的布局与编码。现实中还有另一个同样主流的列式格式 ORC,两者经常被拿来比较,结论却常常停在「都差不多」。它们确实解决同一个问题,但切分方式、索引粒度和生态绑定不同,选错会在特定查询上付出成倍的 IO。
这一节先把两种格式的结构摆在一起,再算一遍同样的 10GiB 数据在两种切法下的块数,最后给出可执行的选型判据。判断链仍然是:现象 → 机制 → 字节账 → 判据。
同一个目标,两种切法
Parquet 与 ORC 都把数据按列组织,都支持编码、压缩、统计与谓词下推。差别在「先按什么切」:
| 维度 | Parquet | ORC |
|---|---|---|
| 一级切分 | row group(默认 128MiB) | stripe(默认约 64MB) |
| 一级切分依据 | 字节数 | 字节数 |
| 二级切分 | column chunk → page(默认 1MiB) | stream(按列)→ row group |
| 列内索引 | page index(按页) | row index(按行数步长) |
| 元数据入口 | 文件尾部 footer | 文件尾部 footer + postscript |
| 统计挂载 | column chunk / page | stripe / row index / bloom |
| 主要生态 | Spark、Iceberg、Delta | Hive、Tez、Presto/Trino |
Parquet 的切法是「字节优先」:row group 按 128MiB 攒,page 按 1MiB 切,边界由写入缓冲决定。ORC 的切法是「行数优先」:stripe 按字节攒,但 stripe 内的索引按固定行数步进,默认每 10,000 行记一次。这个差别直接影响点查能定位到多细。
ORC 的文件结构:file → stripe → stream
ORC 文件由三部分组成:文件头、若干 stripe、文件尾部。每个 stripe 内部再分成索引区、数据流区与 stripe footer:
┌──────┬───────────────┬───────────────┬─────┬──────────────────┬────────────┬─────┐
│ "ORC"│ stripe 1 │ stripe 2 │ ... │ FileFooter │ Postscript │ psLen│
└──────┴───────────────┴───────────────┴─────┴──────────────────┴────────────┴─────┘
index + data + stripe footer stripe 列表/统计 压缩/长度
| 层级 | 内容 | 作用 |
|---|---|---|
| stripe | 一批行的列式数据 | 一级裁剪与并行单位 |
| stream | 某列的数据流(DATA/PRESENT/LENGTH 等) | 按列读取与编码 |
| row index | stripe 内每 10,000 行的 min/max、位置 | 行组级裁剪 |
| stripe footer | 该 stripe 的流位置与统计 | 定位 stream |
| file footer | 全部 stripe 的列表与列统计 | 打开文件后的第一张地图 |
ORC 把索引放在 stripe 内部,Parquet 把页索引放在 footer 或独立区域。这带来一个实际差别:ORC 读一个 stripe 的索引必须先定位 stripe footer;Parquet 读完 footer 就能拿到所有 column chunk 的统计,page index 再按需读取。
同样的 10GiB,切出多少块
用 3.1 的口径算 Parquet,再用 ORC 的默认 stripe 算一遍:
10GiB = 10240MiB
Parquet row group:10240 / 128 = 80 个
ORC stripe(按 64MiB 折算):10240 / 64 = 160 个
若列块有 8 MiB、页预算为 1 MiB,两者整除时示意为 8 页
| 格式 | 一级块数 | 一级块大小 | 二级块 | 二级块数(单列) |
|---|---|---|---|---|
| Parquet | 模型为 80 个 row group | 模型为 128 MiB | page | 每列按实际文件分别计数 |
| ORC | 160 个 stripe | 约 64MiB | row index 每 10,000 行 | 由行数决定 |
块数多不一定是好事。ORC 的 160 个 stripe 让并行切分更细,但 footer 要记录更多 stripe 元数据;Parquet 的 80 个 row group 元数据更轻,但单个块更大,误判时多读的字节更多。选择块大小,本质是在「元数据开销」与「裁剪精度」之间取平衡。
索引粒度:page index 与 row index
两种格式都能在块内继续定位,但定位的「尺子」不同:
| 索引 | 粒度依据 | 记录内容 | 典型用途 |
|---|---|---|---|
| Parquet page index | 每页 1MiB | 每页 min/max、null 数、偏移 | 跳过整页 |
| ORC row index | 每 10,000 行 | 每段 min/max、位置 | 跳过一段行 |
Parquet 的粒度由字节决定,ORC 的粒度由行数决定。同样 128MiB 数据,如果行很宽(比如每行 1KB),10,000 行就是 10MB,ORC 的索引段远大于 Parquet 的 1MiB page;如果行很窄(比如每行 10B),10,000 行只有 100KB,ORC 的索引反而更细。
这解释了一个常见现象:宽表点查时 Parquet 的 page 级裁剪更准,窄表扫描时 ORC 的 row index 足够用。索引粒度没有绝对优劣,要看行宽与查询形态。选型时只记「Parquet page 更细」是不完整的,必须把行宽带进账本。
编码与压缩:两套相近的武器
ORC 与 Parquet 的编码能力高度重叠,但默认策略不同:
| 能力 | Parquet | ORC |
|---|---|---|
| 整数编码 | RLE/bit-packing、Delta | RLE v2、Delta |
| 字符串编码 | 字典 + 位打包索引 | 字典 + 直接串 |
| 布尔/层级 | RLE | RLE |
| 压缩算法 | Snappy、Zstd、Gzip | Zlib、Snappy、Zstd |
| 字典回退 | 超过阈值回退 PLAIN/Delta | 字典过大时回退直接串 |
两边的压缩算法可以选同一套,所以「ORC 压缩率更高」或「Parquet 压缩率更高」都不是格式定律,而是默认配置与数据形态的结果。真正的差别在编码默认值与回退策略:Parquet 对字典索引做位打包,ORC 的 RLE v2 对整数序列更 aggressive。用同一份数据、同一套压缩算法实测,才能判断哪边更省。
点查路径:两种格式各在哪一步省字节
点查(按主键或高选择性条件取少量行)是两种格式差异最明显的场景:
Parquet:footer → row group 统计 → column chunk → page index → 命中页
ORC: postscript/footer → stripe 统计 → row index → 命中行段 → 读 stream
| 步骤 | Parquet 跳过单位 | ORC 跳过单位 |
|---|---|---|
| 一级 | row group | stripe |
| 二级 | page | row index 段 |
| 三级 | 页内解码后过滤 | 段内解码后过滤 |
| 统计位置 | footer / page index | stripe footer / row index |
点查的关键不是「谁能跳过」,而是「谁能在不读数据页的前提下跳得更准」。Parquet 的 page index 按 1MiB 切,命中一页只需解压一页;ORC 的 row index 按 10,000 行切,命中一段要解压这段对应的 stream。行宽越大,ORC 的段越大,点查读得越多;行宽越小,两者差距缩小。
ORC 还有一个 Parquet 早期没有的优势:stripe 级布隆过滤器。对于高基数等值点查,布隆能在 row index 之外再过滤一层;Parquet 后来也支持 column chunk 级布隆与 Puffin,但生态成熟度因引擎而异。这个差异会在 4.2 展开。
选型判据:四条硬规则
lab 的用例 44 把选型压缩成一条可执行规则:
if (点查为主 && 不在 Spark 生态) → ORC
else → Parquet
这条规则背后有四条更细的判据:
| 场景 | 选择 | 理由 |
|---|---|---|
| 点查为主,Hive/Tez/Presto 生态 | ORC | row index、stripe 布隆、Hive 集成成熟 |
| Spark 生态(批处理、SQL、ML) | Parquet | 向量化读取器、page index、默认格式 |
| 湖表(Iceberg/Delta/Hudi) | Parquet | 生态默认,元数据与统计集成完整 |
| 深层嵌套、宽 schema | Parquet | Dremel 层级编码成熟,列投影友好 |
| 扫描聚合为主、非点查 | Parquet | page 级裁剪与并行扫描生态更广 |
「点查为主」是必要条件的全部,不是充分条件。如果点查发生在 Spark 里,规则仍然选 Parquet,因为 Spark 的 Parquet 向量化读取器与 page index 支持更成熟;如果点查发生在 Hive 里,ORC 的 row index 与 stripe 布隆更顺手。格式选型从来不是纯技术比较,而是「查询形态 × 生态」的联合判断。
用例 44 的另一半同样重要:只要不是「点查为主且非 Spark」,就选 Parquet。这意味着 Parquet 是默认项,ORC 是特定场景的优化项。把 ORC 当默认、Parquet 当例外,会在 Spark 与湖表场景里付出生态成本。
共存与迁移:不要为了格式重写全部数据
现实中两种格式往往共存,迁移要算清三笔账:
| 迁移方向 | 收益 | 成本 | 建议 |
|---|---|---|---|
| Parquet → ORC | 点查索引更贴合 Hive | 重写全部文件、双读兼容 | 只迁点查热表 |
| ORC → Parquet | 进入 Spark/湖表生态 | 重写、校验、元数据重建 | 新表直接用 Parquet |
| 双格式并存 | 各取所长 | 存储翻倍、写入两遍 | 仅核心表短期使用 |
迁移的判据是「查询收益是否大于重写成本」。一张 TB 级表重写一遍的 IO 与时间,往往超过点查优化省下的时间;只有点查占比高、表被频繁访问时,迁移才划算。新表则没有历史包袱,直接按生态默认选。
格式不是孤立决策。表格式(Iceberg/Delta/Hudi)、缓存层、压缩算法、文件大小都会影响最终性能;ORC 与 Parquet 只是其中一层。把格式选型放回整条读路径看,才不会为了一个局部最优牺牲全局。
块大小怎么调:从默认值到负载
默认值不是定律。Parquet 的 row group size 与 ORC 的 stripe size 都可在写入时调整,调整方向由查询形态决定:
| 负载特征 | 块大小倾向 | 原因 |
|---|---|---|
| 点查多、过滤列分散 | 偏小 | 块内裁剪更细,误判少读字节 |
| 全表扫描、聚合 | 偏大 | 元数据少,顺序读更连续 |
| 宽表、列很多 | 偏小 | 单块内存压力小,列投影灵活 |
| 窄表、行数多 | 偏大 | 块数与 footer 开销可控 |
| 写入频繁、小批追加 | 偏小 | 每批落一个块,避免巨型块 |
块大小的调整会连带改变元数据量。把 Parquet 的 row group 从 128MiB 调到 64MiB,10GiB 的块数从 80 变成 160,footer 里的 column chunk 条目翻倍;把 ORC 的 stripe 从 64MB 调到 128MB,160 个 stripe 减到 80,元数据减半但点查误判时多读一倍。没有免费的方向,只有与负载匹配的方向。
| 调整 | 直接收益 | 直接代价 |
|---|---|---|
| 块变小 | 裁剪更细、并行块更多 | 元数据膨胀、压缩率略降 |
| 块变大 | 元数据轻、顺序读好 | 误判成本高、内存压力大 |
调块大小的正确姿势是先固定查询集,再测扫描字节与耗时。只看文件大小或压缩率,会得出与查询无关的结论;只有把「命中块数 × 单块字节」放进账本,才能判断调整是否真的省了 IO。
三个常见误解
误解一:ORC 和 Parquet 都是列式,性能肯定一样。 真相:两者的一级切分(stripe 与 row group)、二级索引(row index 与 page index)粒度不同,宽表点查与窄表扫描的表现会分化。
误解二:ORC 的点查一定比 Parquet 快。 真相:ORC 的优势依赖 Hive 生态与行宽;在 Spark 里 Parquet 的向量化读取器与 page index 往往更成熟,用例 44 也把 Spark 生态排除在 ORC 之外。
误解三:选型只看压缩率。 真相:压缩算法两边可选的相同,真正的差别在切分、索引粒度与生态集成;只看压缩率会忽略点查路径与迁移成本。
一句话总结本节
ORC 与 Parquet 都把 10GiB 切成列式块,但 Parquet 按 128MiB 切 80 个 row group、每列的页数按列块大小和写入器策略确定,ORC 按约 64MB 切 160 个 stripe、再按每 10,000 行记 row index;索引粒度一个按字节、一个按行数,宽表点查偏 Parquet、窄表 Hive 点查偏 ORC。选型判据是:点查为主且不在 Spark 生态选 ORC,否则选 Parquet。
本节 lab
在 bd-engine-lab 中验证格式选型判据:
- 源码:
src/format/Format.java与src/format/FormatSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 44 验证「点查为主且不在 Spark 生态时选 ORC,其余情况选 Parquet」;同时复用 3.1 的布局口径,用例 28 验证「10GiB 按 128MiB 切成 80 个 row group」,用例 29 验证「8 MiB 单列预算与 1 MiB 页目标整除时为 8 页」,作为与 ORC stripe 对比的基线。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:先看两种格式的切分单位 → 用同一份 10GiB 数据算出 80 个 row group 与 160 个 stripe 的差别 → 比较 page index 与 row index 的粒度依据 → 把行宽与查询形态带进点查路径 → 最后用「点查为主且非 Spark 选 ORC,否则 Parquet」收口。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。