《大规模分布式计算深入解析》2.2 range/list/replicate 与 colocate 分布

范围分布决定有序数据的归属,复制分布给参与计算的位置提供副本,共置将多表对应桶的可用副本放在同一节点。

2.2 range/list/replicate 与 colocate 分布

范围分布决定有序数据的归属,复制分布给参与计算的位置提供副本,共置将多表对应桶的可用副本放在同一节点。

从键空间到节点的决策

flowchart LR
  A["订单键:类型、编码、Hash"] --> H["逻辑桶号"]
  B["客户键:相同规则"] --> H
  H --> P{"对应桶存在共同的可用节点?"}
  P -->|"是且规划器可证明"| L["同节点扫描和 Join"]
  P -->|"只有一侧布局可用"| S["另一侧路由到已有桶"]
  P -->|"均不可用"| T["按需求广播或重分布"]
分布路由适用示例约束
范围比较确定性边界日期范围扫描端点开闭、NULL 放置和不均衡
列表匹配离散值集合区域或租户未列出的值与默认分区
Hash对键计算桶号等值连接键类型、编码、Hash 与桶映射
复制每个目的持有可用副本小维表本地读取刷新一致性、总存储与网络

16 个覆盖键空间的连续范围可由 15 个有序切点定义,另外处理 NULL。50 MB 数据最终在 16 个节点各存一份,逻辑驻留 800 MB;若完整原件已在一个目标节点,理想跨机复制载荷是 750 MB。两表同键同桶只是共置的一部分,运行时还需确认副本布局与分组的稳定性。以第 4.2 节 的同桶跨节点反例验收。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

StarRocks Colocate Join · Apache Doris 4.x Colocation Join

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图