《大规模分布式计算深入解析》11.2 元数据与清单的规划开销

在湖仓规划中,请求数、响应条目数与墙钟时间有不同的增长规律。先确定走目录枚举还是表格式清单,再分析延迟。

11.2 元数据与清单的规划开销

在湖仓规划中,请求数、响应条目数与墙钟时间有不同的增长规律。先确定走目录枚举还是表格式清单,再分析延迟。

两条请求路径

ListObjectsV2 单次可返回最多 1000 个键,使用 continuation token 翻页。1000 个对象可能在一页内返回;故意假设 1000 个彼此独立的串行请求且每次 50 ms,才得到 50 秒。99% 命中使该模型剩 10 次回源约 0.5 秒,仍要计缓存本身的时间。并行读取时墙钟取决于并发、限流和最长批次。

Iceberg 的 Manifest List 按摘要剪枝后,可能只读 1000 个 Manifest 中的 10 个。若平均每个 1 万条,候选条目从 1000 万降到 10 万。分别记录 List 页数、Manifest GET、实际解析条目、规划耗时和重试。举例,规划 50 s、扫描 512 s,前者是后者的 9.8%,若严格串行则占两者总耗时的 8.9%。真实查询还要检查是否存在预取和阶段交叠。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

Amazon S3 ListObjectsV2 · Apache Iceberg 规范

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图