十一卷主线:从切分到图
前十卷回答「数据如何被切分、重放、一致地执行、存储、流转、检索」,卷十一补上第三大支柱:图。整条主线是「切分→重放→状态→调度→单机→跨节点→协议→存储→事件流→检索→图」。
从切分到检索:前十卷的追问
卷一问文件如何切分与重放失败任务;卷二从依赖图得到执行任务与可复用血缘;卷三把流状态与检查点钉进时间;卷四调度作业并固定湖表版本;卷五给单机算子记账单字节;卷六把 SQL 计划切成 Fragment 跨节点交换;卷七用多数派与复制钉死一致性;卷八把数据落成日志、页缓存与层间合并;卷九让消息可靠写入、复制与读走;卷十把一份数据高效检索、打分与聚合。
图:批与流之外的第三支柱
卷十一继承全部前卷接口:图切分复用卷一的文件与卷六的交换账本,超步引擎对应卷三的迭代状态,图存储复用卷八的文件族与页缓存,图事务复用卷七的锁与多数派,图索引复用卷十的索引执行器。区别只在数据形态——顶点与边让「遍历」成为一等公民。
本卷目录见 /bd-graph-toc/,与卷十 15.2 一样用一条贯穿事件串起各卷可追溯边界。
一条主线的验收
每卷给出固定版本的原生探针,卷十一用 Neo4j 5.26.33 验证存储、查询、索引与事务位;算法位由 Java 8 教学模型覆盖。跨卷迁移不能只信一组固定数字,要从系列导读 沿同一事件核对每个组件的合同。
验证
从卷十一实验包 解包,沿系列导读 的事件示例,用 bsp 用例 16-30 核对超步同步、partition 用例 31-42 核对切分通信、algo 用例 43-57 核对迭代收敛,串联起前十卷的切分、重放与存储边界。TOTAL 136 passed、0 failed 是本卷收口的整体验收。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。