13.2 StarRocks/Doris 的存算与 colocate
对 StarRocks 和 Doris 的共置连接,应以实际布局和计划识别为准。此处以 StarRocks 4.1 和 Doris 4.x 文档的存算一体路径对照。
从 FE 决策到 BE 共置执行
FE 解析和优化 SQL,按共置组和桶映射把匹配桶的两个扫描分派给具有相同布局的 BE。BE 扫描、建表和探测,结果可继续局部聚合或交换。两侧分布列类型、列顺序、桶数和放置规则要兼容。以 StarRocks 的 IsStable 和连接计划中的共置标志复核,组不稳定或连接条件无效时观察回退。对 Doris 以 Colocation Group 的桶序列和计划标记验证。
可对照的查询
建立相同 Hash 桶数及 colocate group 的订单和客户表,按分布键等值连接。与只更换一个表分布属性的变体对照。核对 Join 的共置标志、Join 前的 Shuffle 和结果多重集。“10 秒”在教学模型中只能是给定输入,生产延迟需用相同快照、并发和缓存测量。0.5 TB 和 500 TB 可作基准规模,不能只凭大小选产品。
实验与资料
下载卷六实验包
,参照包内 README。测试数据、DDL 和计划对照命令见 engine-plans.md。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
StarRocks Colocate Join · Apache Doris 4.x Colocation Join
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。