文件布局先于IO次数
定长float32向量可按N×d×4计算载荷。d128、每逻辑块8条时,载荷4096B;1000条共125个这样的载荷块。文件还可能有头、对齐、邻接和元数据,不能只用向量载荷推算所有磁盘格式。
操作系统页大小未必是4KiB,逻辑块也未必页对齐。1024B槽可一页放多个,跨页数据可能一次访问涉及多页;“一个槽一次缺页”没有普遍依据。
mmap实际发生什么
映射创建进程虚拟地址范围。首次访问可能建立已有页缓存的映射,产生不需设备读取的minor fault;也可能需要从后端读入,出现major fault相关路径。预取还会提前读到相邻页。因此逻辑访问次数、缺页数、页缓存命中、系统调用与块设备请求数必须分开。
进程退出不会必然清空系统页缓存。重启同一进程后首查可能仍是热文件数据;若把它叫冷缓存实验,需要明确如何控制或观测OS缓存,不能只重新启动应用。
本卷实际映射例子
Diskann.write写入12B头(magic/N/d)及little-endian float32载荷;mappedRead通过FileChannel.map读取任意行,并检查magic和文件长度。16条二维向量文件是12+16×2×4=140B。读取15/0/8能复核定位和字节解释;破坏头后拒读。
该测试确实使用映射文件,但没有统计OS缺页或设备IO,也没有fsync/WAL/断电保证。把这层能力说准确,比用“mmap模型”笼统暗示完整磁盘引擎更有用。
顺序与随机读取的工程问题
20个随机逻辑块可能重复访问、命中缓存、被合并或触发预取;20个连续块也不保证设备恰好只收一个请求。研究DiskANN应进一步区分内存压缩导航、缓存节点、异步读取和IO beam宽度,见4.3。
架构与流程
flowchart TD
V["向量行ID"] --> O["头与定长载荷偏移"]
O --> M["访问映射虚拟地址"]
M --> P{"页已有映射/页缓存?"}
P -->|是| RAM["内存访问或建立映射"]
P -->|否| IO["OS按策略读入;可能预取/合并"]
IO --> RAM
L["逻辑块数"] -.-> SEP["不等于缺页数,也不等于设备请求数"]
实现与验证边界
真实小文件映射、任意行定位和损坏头拒绝有断言。没有设备性能或页缓存控制实验,不再把逻辑块数写成缺页/IO恒等式。
下载卷十三实验包
。Java 8入口为 lab.RunAll;本节对应 diskann.DiskannSuite。按README分别运行模型与原生入口,失败必须返回非零。模型通过不代表完整产品实现。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。