2.3 分区裁剪与数据倾斜的静态来源
裁剪决定哪些数据单元可以跳过,倾斜决定剩余数据能否均衡地分给任务。两者需要不同证据。
观察三次范围收缩
规划器先用已知谓词及分区变换排除不可能命中的分区或文件。Join Build 产生的运行时过滤可在受支持的扫描或 Split 枚举处进一步缩小候选。扫描器还会用行组或页级统计跳过读取。记录计划中的约束与 residual、实际候选文件/行组、任务输入字节,并用同一版本的未优化结果校验正确性。
热键的反例
16 桶中某键占 40% 时,无论普通 Hash 函数是否均匀,该键的行仍聚在一起。最大桶/均值至少为 6.4。若对内连接把热点事实键分为四个 salt,同时给热点维表键复制四个对应 salt,则每条事实行只走一个 salt,匹配重数保持。若只为两侧独立加盐,会漏掉原本匹配的组合。外连接和聚合需要额外证明保留行与上卷规则。检查最大分区字节和 P95/最大 Task 时间,再决定是否承担额外交换。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
Trino 动态过滤 · Apache Iceberg 规范
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。