13.2 Hudi 的 COW/MOR 与增量读
Hudi 以时间线协调写入和表服务。file group 可跨多个 file slice。同一 file slice 包含相应的 base 和可能存在的 log 文件。选择查询类型后,读取器按时间线确定版本和所需数据。
更新与读取路径
| 布局或查询 | 作用 |
|---|---|
| COW | 更新受影响的 base 文件,读者沿已提交文件版本扫描 |
| MOR 快照读取 | 合并相应 base 和日志以看到最新快照,compaction 将日志整合成新的 base |
| MOR Read Optimized | 读取已发布的 base,日志中尚未合并的变更可能暂不可见 |
| 增量 latest-state | 读取给定范围内变更记录的最新值,按照版本与查询选项解释起止时间 |
| CDC | 读取记录级变更,需记录和配置支持。关注操作、前后值和顺序 |
Hudi 1.x 的增量查询使用提交完成时间来确定范围,升级时应验证旧 checkpoint 的时间边界迁移。文件级变更帮助定位扫描,仍需读取相关数据块并按记录级语义过滤。100 万记录中变更 1 万条是 1% 的逻辑变更比例,物理字节取决于变更是否分散、文件大小、读者实现和列投影。 Hudi 1.2.1 表与查询类型
同一分母对比写量
假设用户更新 1 MB,COW 路径重写 100 MB 的受影响 base,前台写放大为 100 倍。若 MOR 前台追加 1 MB 日志,前台在此算例为 1 倍。排除元数据、压缩和 compaction 的比较应明确时间窗口。把日志 1 MB 除以 base 100 MB 得到 1% 的文件大小比例,是另一个指标。
三个常见误解
- “有时间线就只读变更行对应的字节”。文件定位、解码和行级过滤仍有成本。
- “Read Optimized 与快照读总是相同”。日志未合并时可见结果可能不同。
- “MOR 总写放大是 1%”。用相同输入量做分母,并把 compaction 算入长期窗口。
一句话总结本节
COW 与 MOR 选择更新和合并的位置,时间线及 file slice 定义读者能看到的版本。
Hudi 读者如何选择 File Slice
按 timeline 选择提交范围和查询类型。增量范围帮助定位文件,再按记录级语义读取。
flowchart TD
A[Timeline 与已提交 instant] --> B{表与查询类型}
B -->|COW 或 MOR 读优化| C[读取对应 base]
B -->|MOR 快照| D[读取 base 和有效 logs]
D --> E[合并成可见记录]
B -->|增量或 CDC| F[按版本的完成时间选择范围]
F --> G[定位 file slice 与记录级变更]
E --> H[返回该范围及语义的结果]
C --> H
G --> H
本节 lab
LakehouseSuite 用例 105–107 复算前台写放大、日志相对 base 的比例和变更记录比例。真实 Hudi 需要分别检查写入字节、读模式、时间线和 compaction。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。