《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图

十一卷主线:切分、重放、状态、调度、单机、跨节点、协议、存储、事件流、检索,再到图。

十一卷主线:从切分到图

前十卷回答「数据如何被切分、重放、一致地执行、存储、流转、检索」,卷十一补上第三大支柱:图。整条主线是「切分→重放→状态→调度→单机→跨节点→协议→存储→事件流→检索→图」。

从切分到检索:前十卷的追问

卷一问文件如何切分与重放失败任务;卷二从依赖图得到执行任务与可复用血缘;卷三把流状态与检查点钉进时间;卷四调度作业并固定湖表版本;卷五给单机算子记账单字节;卷六把 SQL 计划切成 Fragment 跨节点交换;卷七用多数派与复制钉死一致性;卷八把数据落成日志、页缓存与层间合并;卷九让消息可靠写入、复制与读走;卷十把一份数据高效检索、打分与聚合。

图:批与流之外的第三支柱

卷十一继承全部前卷接口:图切分复用卷一的文件与卷六的交换账本,超步引擎对应卷三的迭代状态,图存储复用卷八的文件族与页缓存,图事务复用卷七的锁与多数派,图索引复用卷十的索引执行器。区别只在数据形态——顶点与边让「遍历」成为一等公民。

本卷目录见 /bd-graph-toc/,与卷十 15.2 一样用一条贯穿事件串起各卷可追溯边界。

一条主线的验收

每卷给出固定版本的原生探针,卷十一用 Neo4j 5.26.33 验证存储、查询、索引与事务位;算法位由 Java 8 教学模型覆盖。跨卷迁移不能只信一组固定数字,要从系列导读 沿同一事件核对每个组件的合同。

验证

从卷十一实验包 解包,沿系列导读 的事件示例,用 bsp 用例 16-30 核对超步同步、partition 用例 31-42 核对切分通信、algo 用例 43-57 核对迭代收敛,串联起前十卷的切分、重放与存储边界。TOTAL 136 passed、0 failed 是本卷收口的整体验收。

卷十一目录 · 系列导读与实验

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.1 图计算设计空间总结