《大规模分布式计算深入解析》13.1 Paimon 的 LSM 表模型

按主键、bucket、LSM run 与 merge engine 解释 Paimon 读写,按实际字节测量放大。

13.1 Paimon 的 LSM 表模型

Paimon 主键表把写入组织到分区和 bucket,再生成有序数据文件。一个逻辑主键可能有多个物理版本。查询读固定快照,用该表配置的合并语义得到可见结果;compaction 改写物理布局并按协议发布新快照。旧快照仍引用的文件要继续保留。

相同输入,不同合并语义

以下以同一个键收到三条记录为例。第一条为序号 10、字段 x=2、y=7,第二条为序号 12、x=3、y=NULL,第三条迟到、序号 11、x=4、y=8。测试前显式指定序列列和合并规则。

Merge engine验收条件
deduplicate按序列规则选最新记录,序号 12 在该例保留,删除记录按配置处理
partial-update按规则合并各字段,测试 NULL 跳过与显式置空的差异;序列组会影响字段选择
aggregation按各字段配置的 SUM、MAX 等聚合函数折叠输入,测试重放与删除行为
first-row保留首条有效记录,额外验证乱序、写端重排与 changelog 模式

产品细节取决于所用 Paimon 版本与表配置。输入行数减可见键数只给出观察到的重复量,包含重复和更新,无法从差值恢复变更序列。 Paimon 主键表 · Paimon 合并引擎

读写放大怎么数

  • 点查若四个层各只有一个覆盖当前键的 run,最多检查四个候选 run。L0 重叠或一个层有多个覆盖 run 时应数实际候选。范围扫描还受文件范围、Bloom 和投影影响。
  • 写放大可定义为“用户写入加后台重写的物理字节 ÷ 用户输入字节”。稳定采样窗口内分别记录两项,用相同压缩口径。Fanout 是布局参数,写放大还受数据分布、层数与合并策略影响。
  • 物理空间受压缩、重复版本、快照保留和回收共同影响。逻辑合并完成后,旧对象未必可立即删除。

三个常见误解

  • “点查固定每层读一次”。要先看候选 run 和索引。
  • “fanout 10 意味着写放大 10”。产品需测重写字节。
  • “主键表总是保留最后一行”。合并与序列取决于表配置。

一句话总结本节

读者用固定快照与 merge engine 解释记录,后台合并改变物理布局,二者分别用可见结果和实际字节验收。

Paimon 快照、bucket 和合并

写入组织有序文件,读者固定快照并按 merge engine 解释记录。后台合并发布新的布局。

flowchart TD
    A[主键事件与序列] --> B[路由分区及 bucket]
    B --> C[(有序数据文件和 runs)]
    C --> D[提交快照]
    D --> E[读者固定版本并筛候选 runs]
    E --> F[按 merge engine 合并]
    C --> G[Compaction 选择并改写文件]
    G --> D
    D --> H[保留快照引用约束文件回收]

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

LakehouseSuite 用例 102–104 分别计算候选 run、按设定字节求放大倍数及输入与可见主键数的差值。三者均为教学模型。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图