《大规模分布式计算深入解析》10.1 元数据缓存与分区发现

元数据缓存要把对象身份、版本与新查询的可见窗口联系起来。已有查询通常继续读它绑定的快照。

10.1 元数据缓存与分区发现

元数据缓存要把对象身份、版本与新查询的可见窗口联系起来。已有查询通常继续读它绑定的快照。

失效粒度与时序

Catalog 可缓存表句柄与版本,协调器可缓存清单规划读到的数据,工作节点可能缓存文件元信息。各层应以各自拥有的实体和版本为键。以 Iceberg 为例,snapshot ID 用于身份比较,顺序用规范中的 sequence number;一些 Catalog 的缓存刷新基于条件请求或事件。事件可丢失、重复、乱序,消费者需要幂等和回查。

验证主动与被动路径

若每隔 30 秒固定轮询且请求成功、可立即生效,一个新版本的剩余等待在 0–30 秒之间,再加轮询和传播延迟。惰性 TTL 在下一次读时触发,访问失败时还有重试。以一次表提交为源事件,记录通知到达、缓存失效、下一次查询绑定新版本,验证历史快照查询仍使用预期版本。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

Apache Iceberg 规范

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图