卷十一共 45 节,沿「一份数据如何被当作图来遍历、分析与查询」阅读。前十卷把数据当作被计算、被存储、被流转、被检索的对象;本卷补上数据之间关系本身的计算与存储:图模型与表示、BSP 超步引擎、图切分与分区、PageRank 与图算法、Neo4j 存储文件族与页缓存、Cypher/Gremlin 查询与执行、图事务与锁、因果集群与复制、Giraph/GraphX/TigerGraph/JanusGraph 生态、中心性与社区检测、子图同构与模式物化、RDF 与知识图谱、图向量混合检索,最后收口于图计算设计空间与自研取舍。
系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核 · 卷七 分布式一致性、复制与事务内核 · 卷八 分布式存储与 KV 引擎内核 · 卷九 分布式消息与事件流平台内核 · 卷十 分布式检索与搜索引擎内核 · 卷十一 图计算与图数据库内核(本卷)
全书概览
| 项目 | 内容 |
|---|---|
| 系列 | 《大规模分布式计算深入解析》卷十一 |
| 主题 | 图计算与图数据库内核(Pregel/Neo4j/图算法内核位) |
| 篇幅 | 15 章 × 3 节 = 45 篇(精炼图解版) |
| 实验包 | /downloads/bd-compute/bd-graph-lab.zip (Java 8 账本 136 断言 + Neo4j 5.26.33 探针) |
| 阅读基线 | 建议先读卷一/卷八/卷十,再读本卷;单卷独立阅读亦可 |
| 阅读路径 | 见 卷十一目录与学习路径 |
第 1 章 图计算问题域
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 图模型与图数据:顶点、边与属性的世界 |
| 1.2 | 1.2 图 vs 关系/键值/向量:三种查询语义的边界 |
| 1.3 | 1.3 分布式图计算的挑战:切分、通信与收敛 |
第 2 章 图存储模型
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 邻接表与邻接矩阵:两种表示的代价账本 |
| 2.2 | 2.2 属性图模型:标签、属性与关系类型 |
| 2.3 | 2.3 免索引邻接:Neo4j 为什么遍历快 |
第 3 章 BSP 超步引擎
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 BSP 与超步:同步的图并行模型 |
| 3.2 | 3.2 顶点程序与消息传递:Pregel 的计算单元 |
| 3.3 | 3.3 aggregator、combiner 与收敛判定 |
第 4 章 图切分与分区
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 边切分 vs 顶点切分:切哪个更省通信 |
| 4.2 | 4.2 哈希/范围/启发式切分:分区策略谱系 |
| 4.3 | 4.3 负载均衡与再平衡:热点顶点怎么办 |
第 5 章 图算法
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 BFS/DFS 分布式化:宽度优先的消息波 |
| 5.2 | 5.2 PageRank:幂等收敛的迭代账本 |
| 5.3 | 5.3 连通分量、最短路径与三角计数 |
第 6 章 图数据库存储引擎
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 Neo4j 存储文件族:节点、关系与属性文件 |
| 6.2 | 6.2 页缓存与写路径:图存储的 IO 账本 |
| 6.3 | 6.3 属性存储与可变长记录:稀疏与稠密的取舍 |
第 7 章 图查询语言
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 Cypher 模式匹配:声明式图查询 |
| 7.2 | 7.2 Gremlin 与 GQL:遍历式与标准化的对照 |
| 7.3 | 7.3 查询编译:模式解析与语义检查 |
第 8 章 查询执行与优化
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 模式匹配执行:展开、半连接与切片 |
| 8.2 | 8.2 索引加速:属性索引与邻接索引 |
| 8.3 | 8.3 优化器:代价估算与计划选择 |
第 9 章 图事务与并发
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 图事务模型:ACID 在图上的落地 |
| 9.2 | 9.2 锁与隔离级别:细粒度锁的账本 |
| 9.3 | 9.3 并发更新与死锁:图写冲突怎么办 |
第 10 章 图数据库集群
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 因果一致性集群:角色与书签 |
| 10.2 | 10.2 复制与故障转移:primary-backup 图版 |
| 10.3 | 10.3 读偏好与一致性窗口:集群读的权衡 |
第 11 章 图计算生态
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 Giraph:Pregel 的 Hadoop 落地 |
| 11.2 | 11.2 GraphX:图关系代数与 RDD 融合 |
| 11.3 | 11.3 TigerGraph/JanusGraph:分布式图数据库的两种路线 |
第 12 章 图算法进阶
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 中心性:度、介数与接近中心性 |
| 12.2 | 12.2 社区检测:Louvain 与标签传播 |
| 12.3 | 12.3 图嵌入与 GNN:从结构到向量 |
第 13 章 图索引与子图查询
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 属性索引:点查的加速器 |
| 13.2 | 13.2 子图同构与 motif:模式计数的代价 |
| 13.3 | 13.3 图模式索引与聚类:提前物化 |
第 14 章 图生态与混合检索
| 节 | 文章 |
|---|---|
| 14.1 | 14.1 RDF 与知识图谱:语义网上的图 |
| 14.2 | 14.2 图与向量混合检索:GNN 与 RAG 的结合 |
| 14.3 | 14.3 图数据库选型:Neo4j/JanusGraph/TigerGraph/ArangoDB |
第 15 章 卷十一收口
| 节 | 文章 |
|---|---|
| 15.1 | 15.1 图计算设计空间总结 |
| 15.2 | 15.2 十一卷主线:从切分到图 |
| 15.3 | 15.3 落地:从 Neo4j 到自研图引擎 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 卷十一 目录与学习路径 :45 篇的三条阅读路线、十一卷主线对照、十五章依赖关系与逐节索引。
- 卷十 分布式检索与搜索引擎内核 :向量 kNN 与 HNSW 是本卷图嵌入与混合检索的检索侧地基。
- 卷八 分布式存储与 KV 引擎内核 :追加日志、页缓存、索引与缓存是本卷存储文件族与属性索引的存储地基。
- 卷七 分布式一致性、复制与事务内核 :多数派、日志前缀与 fencing,是本卷因果集群与复制的协议层。