从文件偏移到设备读取
应用访问映射地址,CPU页表和OS文件页缓存决定是否需要进一步动作。页已缓存但本进程尚无映射时,也可能只建立映射而没有设备IO。缺页、readahead、块层合并和设备并行让几个计数不再一一对应。
因此“顺序125块=125次IO”“20次随机=20次缺页”都只有人为定义的模型意义,不能冒充OS机制。逻辑块大小、实际页大小、对齐、sector和读取窗口应分别列出。
一个重复访问反例
逻辑访问[1,1,1],对象LRU容量2,首次未命中后两次命中;3次逻辑访问、1个唯一块、1次应用缓存未命中。即使该应用未命中,也可能命中OS页缓存,设备请求仍可能为0。
随机访问不同块可能触发预取或请求合并;顺序读取也不保证一次取回全文件。预取收益取决于实际后续访问,过度预取反而读入无用数据并污染缓存。
冷热条件不能只靠进程重启
OS页缓存一般独立于应用进程生命周期。应用重启、索引重新加载、文件仍在页缓存、设备cache仍热,是不同状态。生产基准应写清控制/观测方法,不随意清理用户系统全局缓存,也不把首查自动当cold。
本卷不做需要管理权限的全局drop_caches。实际映射测试只校验文件布局和读取,不测磁盘吞吐或故障耐久性。
DiskANN的额外层次
内存量化导航和节点缓存影响哪些SSD读被发出,IO beam宽度又影响并行。候选数、图出度和设备请求数都要独立计数。分析尾延迟还需要排队、批量请求和错误重试,不是只看平均块数。
架构与流程
flowchart TD
L["逻辑对象/块访问"] --> APP{"应用缓存命中?"}
APP -->|是| DONE["返回内存数据"]
APP -->|否| VM["映射地址与页表"]
VM --> OS{"OS页缓存命中?"}
OS -->|是| MAP["可能只需建立映射"]
OS -->|否| READ["设备读入;预取/合并另计"]
MAP --> DONE
READ --> DONE
实现与验证边界
Java执行真实对象LRU及小文件map读取;没有缺页计数、readahead或设备请求观测,不把逻辑缓存模型当OS实测。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 io.IoSuite / diskann.DiskannSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。