落地:从 Neo4j 到自研图引擎
以 Neo4j 为参照做自研取舍,从文件族起步逐层验证:存储、遍历、写路径、事务、索引、集群。每层都先定义合同,再用 lab 记账口径验收。
第一层:文件族与免索引邻接
节点记录 25 字节(头 9 + 属性指针 8 + 首关系 8)、关系记录 34 字节、属性记录 8 字节元数据(用例 58-60)。关系双端 next 链实现免索引邻接,遍历成本等于邻接关系数,O(度数) 远小于全表扫描 O(节点数)(用例 61-63)。这是自研的第一笔账:多跳深度遍历靠指针链而非索引回表。
第二层:页缓存与写路径
页大小 8KiB、默认页缓存 8GiB 可容纳约 3.4 亿条节点记录(用例 64-66);页缓存命中 0.1ms 对磁盘 8ms 相差 80 倍(用例 67)。写路径 = 页缓存 0.1ms + 日志 0.1ms = 0.2ms(用例 71),删除关系走逻辑标记加后台回收(用例 72)。小值内联、大值外链的可变长方案决定稀疏与稠密的空间取舍(用例 68-70)。
第三层:事务、索引与集群
事务先做读已提交隔离与细粒度节点锁,写锁互斥、等待图成环判死锁(txn 用例 92-101)。索引先做属性索引让点查走 NodeIndexSeek,DB Hits 2 小于全表扫描 6(query 用例 77-78、index 用例 113-115)。集群最后接因果角色:leader 写、follower 读、书签保证读己之写,3 节点多数派 2、容忍 1 台故障(cluster 用例 102-112)。
取舍清单
单机优先:先在单节点验证正确性与吞吐,再补集群。免索引邻接优先于通用索引:遍历热点决定引擎形态。写路径先记账再优化:页缓存与日志的 0.2ms 合账是容量规划的最小单位。集群多数派是最晚投入:没有正确的事务与索引,集群只会放大错误。
验证
从卷十一实验包
解包,运行 lab.RunAll:store 用例 58-72 验证文件族字节、页缓存命中与写路径合账,txn 用例 92-101 验证提交/回滚与细粒度锁,query 用例 77-78 与 index 用例 113-115 验证索引加速,cluster 用例 102-112 验证多数派与故障容忍。原生探针 neo4j-probe.sh 的节点/关系计数、事务提交读回与 NodeIndexSeek DB Hits=2,作为自研同口径验收值。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。