《大规模分布式计算深入解析》4.2 colocate join 与 bucketed join

同桶是逻辑分布条件。共置 Join 还需要两侧对应桶的可用副本放在同一个执行节点,并被规划器识别。

4.2 colocate join 与 bucketed join

同桶是逻辑分布条件。共置 Join 还需要两侧对应桶的可用副本放在同一个执行节点,并被规划器识别。

用桶放置解释三个计划

设 A、B 都按 customer_id 同类型、同 Hash 分成 16 桶。若 A 的 5 号桶只能在 W1 扫描,而 B 的对应桶只能在 W2 扫描,二者仍要移动。若右侧可移动到左侧桶所在节点,可以使用一侧的现有分布,避免双 Shuffle。两侧对应桶均满足放置规则时,该连接边可做到 0 跨机字节;本地队列和根部 Gather 仍可存在。

以 StarRocks 为例,记录 colocate group 的分布列、桶数、副本数、桶的 BE 序列和 IsStable。组正在重平衡时,观察计划中的共置标志与不共置原因。Doris 的 Colocation Group 也有布局与稳定约束,具体配置按版本核对。假设基准 100 s 中 70 s 恰好属于可移除的关键路径交换,保持其他活动不变时,模型剩 30 s。实际需验证网络与墙钟关键路径的交叠。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

StarRocks Colocate Join · Apache Doris 4.x Colocation Join

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图