《大规模分布式计算深入解析》12.2 磁盘 IO 与 mmap:页缓存、随机读与预取策略

mmap复用系统页缓存;逻辑读、缓存未命中、minor/major fault与设备请求分开,重启进程不构成冷缓存实验。

从文件偏移到设备读取

应用访问映射地址,CPU页表和OS文件页缓存决定是否需要进一步动作。页已缓存但本进程尚无映射时,也可能只建立映射而没有设备IO。缺页、readahead、块层合并和设备并行让几个计数不再一一对应。

因此“顺序125块=125次IO”“20次随机=20次缺页”都只有人为定义的模型意义,不能冒充OS机制。逻辑块大小、实际页大小、对齐、sector和读取窗口应分别列出。

一个重复访问反例

逻辑访问[1,1,1],对象LRU容量2,首次未命中后两次命中;3次逻辑访问、1个唯一块、1次应用缓存未命中。即使该应用未命中,也可能命中OS页缓存,设备请求仍可能为0。

随机访问不同块可能触发预取或请求合并;顺序读取也不保证一次取回全文件。预取收益取决于实际后续访问,过度预取反而读入无用数据并污染缓存。

冷热条件不能只靠进程重启

OS页缓存一般独立于应用进程生命周期。应用重启、索引重新加载、文件仍在页缓存、设备cache仍热,是不同状态。生产基准应写清控制/观测方法,不随意清理用户系统全局缓存,也不把首查自动当cold。

本卷不做需要管理权限的全局drop_caches。实际映射测试只校验文件布局和读取,不测磁盘吞吐或故障耐久性。

DiskANN的额外层次

内存量化导航和节点缓存影响哪些SSD读被发出,IO beam宽度又影响并行。候选数、图出度和设备请求数都要独立计数。分析尾延迟还需要排队、批量请求和错误重试,不是只看平均块数。

架构与流程

flowchart TD
 L["逻辑对象/块访问"] --> APP{"应用缓存命中?"}
 APP -->|是| DONE["返回内存数据"]
 APP -->|否| VM["映射地址与页表"]
 VM --> OS{"OS页缓存命中?"}
 OS -->|是| MAP["可能只需建立映射"]
 OS -->|否| READ["设备读入;预取/合并另计"]
 MAP --> DONE
 READ --> DONE

实现与验证边界

Java执行真实对象LRU及小文件map读取;没有缺页计数、readahead或设备请求观测,不把逻辑缓存模型当OS实测。

下载卷十三实验包 。Java 8入口为 lab.RunAll;本节对应 io.IoSuite / diskann.DiskannSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。

一手资料

卷十三目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路