热点顶点与负载失衡
哈希切分平衡了 id,平衡不了度数。幂律图里少数高度数顶点让分区内存、消息与计算全部倾斜,超步被最慢分区拖住。
再平衡的账本
理想负载是均匀分摊:7 顶点 2 分区,ceil(7/2) = 4。再平衡把最重分区的一个顶点迁到最轻分区,负载差从失衡压到 1(用例 41)。
迁移本身有成本:顶点状态、出边与消息目标都要搬,搬得越多短期跨区消息越多。所以再平衡按阈值触发,而不是每超步都做。
对齐卷六:倾斜执行
卷六处理的是 join 倾斜,这里是超步内计算倾斜。两者都走「找出倾斜 key、单独处理、合并结果」三步。热点顶点单独成区是预防,迁移是纠正。
验证
从卷十一实验包 解包,用 partition 用例 42 验证 7 顶点 2 分区理想负载 ceil(7/2)=4;用例 41 验证再平衡后负载差 1(最重分区迁 1 顶点到最轻分区);用例 38 对照哈希切分原负载差 4。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。