《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎

自研取舍:文件族、免索引邻接、写路径、事务锁、索引与集群逐层落地。

落地:从 Neo4j 到自研图引擎

以 Neo4j 为参照做自研取舍,从文件族起步逐层验证:存储、遍历、写路径、事务、索引、集群。每层都先定义合同,再用 lab 记账口径验收。

第一层:文件族与免索引邻接

节点记录 25 字节(头 9 + 属性指针 8 + 首关系 8)、关系记录 34 字节、属性记录 8 字节元数据(用例 58-60)。关系双端 next 链实现免索引邻接,遍历成本等于邻接关系数,O(度数) 远小于全表扫描 O(节点数)(用例 61-63)。这是自研的第一笔账:多跳深度遍历靠指针链而非索引回表。

第二层:页缓存与写路径

页大小 8KiB、默认页缓存 8GiB 可容纳约 3.4 亿条节点记录(用例 64-66);页缓存命中 0.1ms 对磁盘 8ms 相差 80 倍(用例 67)。写路径 = 页缓存 0.1ms + 日志 0.1ms = 0.2ms(用例 71),删除关系走逻辑标记加后台回收(用例 72)。小值内联、大值外链的可变长方案决定稀疏与稠密的空间取舍(用例 68-70)。

第三层:事务、索引与集群

事务先做读已提交隔离与细粒度节点锁,写锁互斥、等待图成环判死锁(txn 用例 92-101)。索引先做属性索引让点查走 NodeIndexSeek,DB Hits 2 小于全表扫描 6(query 用例 77-78、index 用例 113-115)。集群最后接因果角色:leader 写、follower 读、书签保证读己之写,3 节点多数派 2、容忍 1 台故障(cluster 用例 102-112)。

取舍清单

单机优先:先在单节点验证正确性与吞吐,再补集群。免索引邻接优先于通用索引:遍历热点决定引擎形态。写路径先记账再优化:页缓存与日志的 0.2ms 合账是容量规划的最小单位。集群多数派是最晚投入:没有正确的事务与索引,集群只会放大错误。

验证

从卷十一实验包 解包,运行 lab.RunAll:store 用例 58-72 验证文件族字节、页缓存命中与写路径合账,txn 用例 92-101 验证提交/回滚与细粒度锁,query 用例 77-78 与 index 用例 113-115 验证索引加速,cluster 用例 102-112 验证多数派与故障容忍。原生探针 neo4j-probe.sh 的节点/关系计数、事务提交读回与 NodeIndexSeek DB Hits=2,作为自研同口径验收值。

卷十一目录 · 系列导读与实验

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图
  3. 《大规模分布式计算深入解析》15.1 图计算设计空间总结