《大规模分布式计算深入解析》10.1 对象存储语义:S3 一致性与 List 代价

以 Amazon S3 的桶类型和并发写入为例,区分单对象可见性、表快照发布与列表成本。

10.1 对象存储语义:S3 一致性与 List 代价

分析表常把数据文件存于对象存储,把表版本放在事务日志或目录服务中。这里分别看对象 API、并发提交与扫描成本。

对象 API 与桶类型

操作S3 通用桶S3 Express One Zone 目录桶
读取和枚举GET 可指定字节范围,LIST 支持前缀和分页按目录桶 API 约束使用
重命名一般以复制和删除表达两个对象操作同一目录桶中的 Express One Zone 对象支持 RenameObject
追加通常写入新对象或重写对象支持在目录桶用写偏移追加,受对象和 API 约束

S3 为对象写入后读取、覆盖和 LIST 提供强一致语义。这描述已成功写入后的观察结果,网络请求仍有延迟。实验中的旧系统 100 ms 是用于推演的假设,并无统一上限。对象地址、客户端缓存、新旧表快照等也应分开检查。 S3 强一致性 · RenameObject · 目录桶追加

数据已写与表版本已提交

两个写者都读到 v1,分别写好各自的数据文件。若 A 和 B 无条件覆盖同一个表指针,A 可成功发布 v2,随后 B 也可成功覆盖,从而隐藏 A 的结果。每次覆盖各自保持原子性,仍然会丢失并发更新。

以 Iceberg Catalog 为例,提交方必须用 Catalog 的协议检查基线、原子发布新元数据位置。B 遇基线变更后重新加载 v2,再按追加或重写等操作的规则校验。兼容的追加可以重试。若目标文件已被 A 替换,B 需失败或基于新状态重算。Delta 经典提交竞争下一个日志版本并校验冲突;目录管理的表遵循相应目录协议。未引用文件需等安全保留窗口后回收,旧读者只要需要的文件仍在,就可继续沿已固定的快照读取。 Iceberg 规范 · Delta 协议

列表开销的算例

如果有 100 万对象、每页恰好返回 1000 项,则需 1000 个页面请求。每次 50 ms 串行请求且无重试时为 50 秒。目录读取可以利用快照元数据、前缀并行和缓存减少请求。单次请求迟滞以及数据文件的实际读取量仍应分开观测。分页继续令牌标识分页进度,查询需要稳定对象集合时使用固定表快照。 S3 ListObjectsV2

三个常见误解

  • “强一致意味着零请求延迟”。它规定观察语义。
  • “对象写入成功就是表提交成功”。表读者按表协议确定可见版本。
  • “一个对象原子覆盖足以处理并发写”。还要验证基线并解决冲突。

一句话总结本节

对象 API 管字节与单对象可见性,表协议管理并发写者、版本发布和清理边界。

对象存储与并发提交时序图

A 和 B 同时读 v1。安全发布由具体 Catalog 或日志协议裁决。数据和元数据对象即使已上传,未被所选表版本引用时不会出现在该版本读结果中。

sequenceDiagram
    participant A as 写者 A
    participant B as 写者 B
    participant O as 对象存储
    participant C as Catalog 或事务日志
    participant R as 读者
    A->>C: 读取基线 v1
    B->>C: 读取基线 v1
    R->>C: 固定读快照 v1
    A->>O: 写入 A 文件和候选元数据
    B->>O: 写入 B 文件和候选元数据
    A->>C: 有条件地发布基于 v1 的版本
    C-->>A: v2 已发布
    B->>C: 尝试发布基于 v1 的版本
    C-->>B: 基线失效
    B->>C: 刷新到 v2 并校验冲突
    alt 操作仍兼容
        B->>C: 条件发布合并后的版本
    else 重写已消失的文件
        B->>B: 中止或重算
    end
    R->>O: 继续读取 v1 仍保留的文件

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

StorageSuite 用例 87 推演假设的一致性可见窗口,88 复算列表请求。真实 S3 行为依据 API 文档。五卷实验中的 Iceberg 原生示例验证过期重写被拒绝。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图