《大规模分布式计算深入解析》4.3 热点与再平衡:迁移是一个协议
再平衡的目标可能是内存、活跃边数或每轮耗时,而不只是顶点数相等。对于 hub,迁移一个顶点可能带走巨量邻接,也可能只改变状态所有者而把访问转成远程请求。先定义迁移单位与路由所有权。
category
再平衡的目标可能是内存、活跃边数或每轮耗时,而不只是顶点数相等。对于 hub,迁移一个顶点可能带走巨量邻接,也可能只改变状态所有者而把访问转成远程请求。先定义迁移单位与路由所有权。
哈希分区可以让顶点标识分布比较均匀,但顶点数均匀不代表边数、内存或计算时间均匀。范围分区只有在 ID 与关系拓扑相关时才保留局部性;随机 ID 的连续范围并不天然是图社区。
minmax 适合块范围有区分度的谓词,Bloom 适合某值在许多索引块中确实不存在的等值/IN 查询;低基数并不自动有利,若每块都含所有低基数值,几乎无法跳过。主键前缀和分区裁剪可能已覆盖主要收益。
edge-cut 将顶点分配到分区,一条边的端点分属两区时形成跨区边;中文称边割。vertex-cut 将边分配到分区,边端点可能在多个分区出现,中文称点割。按顶点分区与“切顶点”不是同义词,所有图注使用同一组英文定义。
granule 是索引与读取的重要逻辑粒度,mark 为数据流提供到压缩文件和块内位置的定位信息;压缩块不是 granule 的同义词。Wide 和 Compact part 的列组织及标记文件不同,不能通称每条 mark 永远 16B。
aggregator 将各顶点的局部贡献归约为全局统计。必须区分当前轮归约中的值与下一轮可见的完成值;普通每轮重置的 aggregator 也不同于跨轮累积的 sticky 统计。协调终止时,活跃状态与在途消息必须使用同一轮次口径。
MergeTree ORDER BY 定义 part 内排序,PRIMARY KEY 定义稀疏主索引表达式;主键可以是排序键的前缀,默认省略时通常与排序键一致。主键不强制唯一,重复值与跨 part 重复都可能存在。
compute(v,messages) 读的是当前轮消息及约定可见的状态。顶点可以在本轮休眠,但新消息到达后需要重新获得执行机会。“没有收到消息”不等于“这个顶点永远不计算”:初始活跃集合、初始化程序和算法终止协议共同决定调用。
排序把相近值聚到同一片连续区域,可能延长游程并改善 delta 或压缩器匹配;收益依赖排序键前缀、联合分布与编码。排序不会改变逻辑值频率;不能用“数据熵降低”直接代替有条件的压缩解释。
超步 s 只消费上一超步完成路由的 inbox。顶点程序可以更新本顶点状态、发送消息、投票休眠;发送写入 next inbox,不能立即让稍后遍历到的顶点消费。双缓冲把程序从顶点编号、边排列与线程调度顺序中解耦。
编码先利用值分布降低表示成本,通用压缩再处理字节流;排序、数据类型和块边界都会影响收益。ZSTD 不是只做一个抽象熵编码步骤,字典码也不是仅在游程边界记录,几种算法不能混成同一字节公式。
免索引邻接指的是从已定位实体沿存储中的邻接引用访问关联实体,无须为每条关系再查询一个全局属性索引。它不是“整个查询没有索引”,也不是“没有任何维护成本”。关系增删仍需维护邻接结构与事务一致性。
行式将一行字段相邻布局,列式将一列的值集中存储;真实读写单位仍是页和压缩块,不是一个抽象单元。只取少数列的大扫描常受益于列裁剪,但行存的覆盖索引、纵向分区和缓存也能改变读取量。
标签、关系类型与属性是查询语义;节点记录、属性块与关系文件是存储实现。逻辑模型允许一个节点拥有多个标签,关系类型可以过滤展开;不能根据一个 Java 类里几个 long 字段就推断 Neo4j 的磁盘格式。
列存将同类值集中编码,执行器对列批进行过滤与聚合;MergeTree 又组织不可变 parts、排序、稀疏索引与后台合并。列式、向量化、分布式与强一致性是不同维度,不能因为具备其中一个就推导其他能力。
有向邻接表的空间通常是 O(V+E),顶点到列表的索引不能省略。CSR 用 offsets[V+1] 定位每个顶点在 neighbors[E] 中的一段,可把对象开销换成连续数组。位矩阵用 V² 位表示是否存在边,无法直接保存平行边及边属性。
T+1、秒级或亚秒级是业务可见性目标,不是仅靠换一个存储引擎就能保证的指标。端到端延迟应拆成采集、队列等待、计算、落库、读副本追齐和展示刷新,并说明事件时间与处理时间。
把图放到多台机器后,必须同时定义顶点值、边、消息与副本的所有者。按顶点分区会出现跨区边;按边分区会出现顶点镜像。分区只决定潜在通信位置,真正流量由算法活跃度、消息大小与合并策略决定。
OLAP 常以扫描、聚合、连接与即席分析为核心,OLTP 常以短事务点查与更新为核心,但两者不是按引擎名称划分的绝对集合。讨论布局收益要比较同一查询、同一投影和同样的结果合同。
存储模型决定表达的便利性,不决定一个引擎必然更快。关系模型可以保存边表,KV 可以把邻接列表编码成 value;向量近邻返回相似候选而非精确关系路径。比较前固定同一数据、查询、索引和缓存条件。