4.2 colocate join 与 bucketed join
同桶是逻辑分布条件。共置 Join 还需要两侧对应桶的可用副本放在同一个执行节点,并被规划器识别。
用桶放置解释三个计划
设 A、B 都按 customer_id 同类型、同 Hash 分成 16 桶。若 A 的 5 号桶只能在 W1 扫描,而 B 的对应桶只能在 W2 扫描,二者仍要移动。若右侧可移动到左侧桶所在节点,可以使用一侧的现有分布,避免双 Shuffle。两侧对应桶均满足放置规则时,该连接边可做到 0 跨机字节;本地队列和根部 Gather 仍可存在。
以 StarRocks 为例,记录 colocate group 的分布列、桶数、副本数、桶的 BE 序列和 IsStable。组正在重平衡时,观察计划中的共置标志与不共置原因。Doris 的 Colocation Group 也有布局与稳定约束,具体配置按版本核对。假设基准 100 s 中 70 s 恰好属于可移除的关键路径交换,保持其他活动不变时,模型剩 30 s。实际需验证网络与墙钟关键路径的交叠。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
StarRocks Colocate Join · Apache Doris 4.x Colocation Join
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。