《大规模分布式计算深入解析》11.1 Iceberg/Delta/Hudi 的 MPP 读取路径

湖仓 Connector 先解析查询绑定的表版本,再规划要读的对象。正确结果取决于快照和删除语义,不能只枚举 Parquet 路径。

11.1 Iceberg/Delta/Hudi 的 MPP 读取路径

湖仓 Connector 先解析查询绑定的表版本,再规划要读的对象。正确结果取决于快照和删除语义,不能只枚举 Parquet 路径。

同一读取接口的三套解析路径

flowchart TB
  Q["绑定目标表版本和谓词"] --> I["Iceberg:快照 → Manifest List → Manifest"]
  Q --> D["Delta:Checkpoint 与增量日志 → 活动文件"]
  Q --> H["Hudi:Timeline → File Group / File Slice"]
  I --> A["选择 Data File 及适用的 Delete File"]
  D --> B["选择 AddFile 及适用的 Deletion Vector"]
  H --> C["按读取模式选择 Base,或 Base 与 Log"]
  A --> F["表级统计裁剪,规划 Connector Split"]
  B --> F
  C --> F
  F --> G["Worker 读取列块和行组,应用删除或合并"]
  G --> R["计算 residual,记录物理读取和输出字节"]
格式可见文件的来源行级可见性
Iceberg表元数据定位 Snapshot,Manifest List 筛候选 Manifest,读取 Data File 和 Delete File 条目按分区、文件路径与序列号规则应用位置或等值删除,支持项以表版本与 Connector 为准
Delta从 Checkpoint 与后续日志还原快照,解析该快照的活动 AddFile对具备相应特性的表应用 AddFile 关联的 Deletion Vector
Hudi MoR读取 Timeline 上选定瞬时点的 File Group 与 File SliceSnapshot 合并 Base 和 Log;Read Optimized 主要读取 Base,结果可能滞后

分区与文件统计可在表格式元数据中判断。读文件时继续用 Parquet Footer、Row Group/页索引和投影优化,且需要读取必要的删除键、位置或合并字段。残余谓词按正确的快照语义执行。用数据的新增、删除和更新验证快照可见性,再记录规划的文件数、实际字节、解码行和输出行。与卷五 统一 I/O 边界。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

Apache Iceberg 规范 · Delta Lake 协议 · Apache Hudi 表与查询类型

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图