《大规模分布式计算深入解析》8.3 跨源 join 与数据移动的代价决策

跨源 Join 的成本先按执行位置和网络边界列出,再比较搬动哪一边。真正的远端 Join 或暂存需要权限、能力与一致性约束。

8.3 跨源 join 与数据移动的代价决策

跨源 Join 的成本先按执行位置和网络边界列出,再比较搬动哪一边。真正的远端 Join 或暂存需要权限、能力与一致性约束。

路径前提需要计量
把小侧搬到大侧大侧系统能接受暂存并 Join小侧跨域字节、清理、右侧压力
把大侧搬到小侧过滤后大侧可能更小,或大侧位置无法执行过滤后字节、目标落地和处理
两边读到联邦引擎各源可独立安全读取两侧源端输出、引擎 Exchange、结果返回
定期物化查询重复且新鲜度允许刷新、储存与历史版本代价

统一单位后的大小例

只有在两条备选路径都把另一侧视为本地且只搬一边时,100 GB/2 GB 才可直接得约 50 倍大小比。如果固定 100 GiB 与 2000 MiB,比值是 51.2,含义不同。估算真实成本时优先测过滤后字节、远端执行耗时和尾延迟。若两边不能绑定共同版本,应该记录各源版本与业务水位,而非把联邦读当作跨域同一快照。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

Trino Connector 下推 · Trino Connector 开发接口

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图