10.1 元数据缓存与分区发现
元数据缓存要把对象身份、版本与新查询的可见窗口联系起来。已有查询通常继续读它绑定的快照。
失效粒度与时序
Catalog 可缓存表句柄与版本,协调器可缓存清单规划读到的数据,工作节点可能缓存文件元信息。各层应以各自拥有的实体和版本为键。以 Iceberg 为例,snapshot ID 用于身份比较,顺序用规范中的 sequence number;一些 Catalog 的缓存刷新基于条件请求或事件。事件可丢失、重复、乱序,消费者需要幂等和回查。
验证主动与被动路径
若每隔 30 秒固定轮询且请求成功、可立即生效,一个新版本的剩余等待在 0–30 秒之间,再加轮询和传播延迟。惰性 TTL 在下一次读时触发,访问失败时还有重试。以一次表提交为源事件,记录通知到达、缓存失效、下一次查询绑定新版本,验证历史快照查询仍使用预期版本。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。