《大规模分布式计算深入解析》13.2 StarRocks/Doris 的存算与 colocate

对 StarRocks 和 Doris 的共置连接,应以实际布局和计划识别为准。此处以 StarRocks 4.1 和 Doris 4.x 文档的存算一体路径对照。

13.2 StarRocks/Doris 的存算与 colocate

对 StarRocks 和 Doris 的共置连接,应以实际布局和计划识别为准。此处以 StarRocks 4.1 和 Doris 4.x 文档的存算一体路径对照。

从 FE 决策到 BE 共置执行

FE 解析和优化 SQL,按共置组和桶映射把匹配桶的两个扫描分派给具有相同布局的 BE。BE 扫描、建表和探测,结果可继续局部聚合或交换。两侧分布列类型、列顺序、桶数和放置规则要兼容。以 StarRocks 的 IsStable 和连接计划中的共置标志复核,组不稳定或连接条件无效时观察回退。对 Doris 以 Colocation Group 的桶序列和计划标记验证。

可对照的查询

建立相同 Hash 桶数及 colocate group 的订单和客户表,按分布键等值连接。与只更换一个表分布属性的变体对照。核对 Join 的共置标志、Join 前的 Shuffle 和结果多重集。“10 秒”在教学模型中只能是给定输入,生产延迟需用相同快照、并发和缓存测量。0.5 TB 和 500 TB 可作基准规模,不能只凭大小选产品。

实验与资料

下载卷六实验包 ,参照包内 README。测试数据、DDL 和计划对照命令见 engine-plans.md。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

StarRocks Colocate Join · Apache Doris 4.x Colocation Join

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图