《大规模分布式计算深入解析》6.3 窗口函数的分区要求与 shuffle 代价

Window 需要满足分区、顺序和窗口帧语义。先求分布是否覆盖分区要求,再决定是否补本地排序。

6.3 窗口函数的分区要求与 shuffle 代价

Window 需要满足分区、顺序和窗口帧语义。先求分布是否覆盖分区要求,再决定是否补本地排序。

从 SQL 属性推到执行属性

flowchart LR
  A["为 Window 提取 PARTITION BY、ORDER BY、Frame"] --> D{"已有分布覆盖逻辑分组?"}
  D -->|"否"| H["按所需键做 Exchange"]
  D -->|"是"| S{"已有顺序满足需求?"}
  H --> S
  S -->|"是或语义未指定顺序"| R["按窗口函数读取帧"]
  S -->|"需要排序"| K["组内排序"]
  K --> R

以 ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY event_time, event_id) 为例。同用户的行要交给可一起计算的实例,然后按两个键排序。若已按 user_id 分布,可避免相关远端 Exchange;表按 (user_id, dt) 散列通常不能推导同用户共置。反向使用按 user_id 的分布支持 PARTITION BY user_id, dt 则满足同一逻辑分区不会跨节点。物理计划还要承认该分布属性。

没有 ORDER BY 时的 COUNT(*) OVER (PARTITION BY user_id) 无需为该窗口建立排序语义,具体计划仍可能借排序分组。LAG、ROWS、RANGE 对帧和上下文的要求有差别。对不同布局跑同一查询核对分区内结果和 Window 前远端分布。若重分布输入 10,000 MB,16 个节点独立均匀映射下跨机估计 9375 MB;分布复用时,该窗口边界跨机量可为零。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

Trino 窗口函数

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图