《大规模分布式计算深入解析》8.2 CBO 与统计信息
CBO 先估行数、再算代价、最后选算法。本节用 NDV 1000 推出选择率 0.001,用 1 万 × 10 万、NDV 10 万算出 join 输出 1 万行,比较 hash 505 万与 sort-merge 的 9966 万 ns,并说明统计过期带来的 100 倍偏差。
category
CBO 先估行数、再算代价、最后选算法。本节用 NDV 1000 推出选择率 0.001,用 1 万 × 10 万、NDV 10 万算出 join 输出 1 万行,比较 hash 505 万与 sort-merge 的 9966 万 ns,并说明统计过期带来的 100 倍偏差。
规则优化不改语义,只改执行顺序。本节用谓词下推把 1000 万行先过滤到 100 万行、中间结果减 90%,列裁剪让 100 列只读 5 列,常量折叠在 100 万行上省下 200 万次运算,并用 6 条规则、每条改写 3 个节点共 18 次改写说明规则链的账本。
窗口算子对每行算一个区间聚合。朴素滑窗 100 万行乘窗口 10 是 1000 万次,增量滑窗只处理进出各一次共 200 万次,省 80%;1000 个窗口分区、Top10 约 3322 次比较;单分区 1024MB 超出 64MB 内存必须溢写。
排序聚合先按分组键排序再顺序扫描,用比较次数换常量内存。100 万行约 19,931,568.6 次比较,却只需当前组 32 字节;输入已按分组键有序时只需 100 万次扫描。hash 随分组数涨内存并可能溢出,排序聚合恒为常量内存,取舍看基数与输入顺序。
Hash 聚合逐行更新分组键到累加器的表,表大小由分组数决定:10 万组乘 32 字节是 3.2MB,10 组只有 320B 可驻留 L1;200MB 表在 64MB 内存下切 4 个溢出分区。map 端预聚合把 100 万行压到 10 万组,shuffle 数据降 90%。
广播、嵌套循环与 runtime filter 处理不对称或非等值连接。10MB 小表广播到 100 个 executor 是 1000MB 流量;runtime filter 用 build 键集合剪 probe,选择率 5% 时从 500 万降到 25 万,省 95%。
Sort-merge join 把两表排序后归并。各 1 亿行、每次比较 5ns 时排序要 26.5754 秒;800MB 数据在 64MB 内存下切 13 个 run,外部排序写读共 2400MB。输入已有序时排序成本为 0,这是它相对 hash join 的结构性优势。
解释 Hash Join 的 build 与 probe 阶段、计算预算、重复键与 NULL 比较,以及分区溢写。
单流扫描跑不满带宽,并行扫描靠多流叠加,但受带宽封顶:4 流 × 500MB/s 在 1.6GB/s 上限下加速 3.2 倍;10GB 对象存储、16 并发、单流 100MB/s 时,理论 16 倍也被压到 6.25 秒;队列深度 16、延迟 50ms 对应 320 req/s。
宽表查询往往只碰少数列。列裁剪把 100 列压到 3 列,IO 比例 3%、1GB 表只读 30MB;延迟物化把数据列读取推到过滤之后,20 列过滤列全读、80 列按 1% 物化,IO 比例 20.8%,比全读省 79.2%。本节还比较提前与延后物化的随机读、顺序读代价。
区分统计裁剪、读取时过滤和输出体积,用 Parquet 实验比较相同选择率下的候选行组。
单级裁剪不够用:zone map 先跳过 80% 的文件,剩下的 20 个再被布隆滤掉 8 个、余 12 个,组合跳过率是 1-(0.2×0.6)=88%,而不是把两级直接相加。本节把两级裁剪串成代价阶梯,讲清执行顺序、字节总账与失效条件。
zone map 对高基数等值查询无能为力,布隆过滤器补上这一层:1 万行、1% 误判率需要 95851 位与 7 个哈希函数,1000 次不存在键查询约误判 10 次。本节推导 m/k 公式,并说明 Puffin 中 NDV 与 theta sketch 如何为优化器服务。
zone map 用 min/max 回答「这块数据一定不命中」:page 统计 [10,90] 时查询 x>95 可直接跳过,100 个分区间文件查询 x>9000 能跳 90 个。但统计区间重叠时一个都跳不过,本节算清粒度、重叠与成本三笔账。
ORC 与 Parquet 都按列存,但切法不同:Parquet 用 128MiB 的 row group 与 1MiB 的 page,ORC 用约 64MB 的 stripe 与按行数步进的 row index。本节对比两层结构与索引粒度,并给出格式选型判据。
用位打包、RLE、字典和 Delta 载荷做教学预算,再对照 Parquet 真实编码的头部和开销。
区分 Parquet 文件、逻辑行组、叶列列块、页与页索引,按真实元数据定位读路径。
JIT 与向量化两条路线:20ms 编译摊到 800 万行是 2.5ns/行,1 万行短查询 JIT 20.01ms,解释 0.36ms;SIMD 4 路理论 4 倍、实际 2.7 倍;三模型总账 408/11.52/48ms;批 1024×8×4B=32KB,lab 八用例。
全阶段代码生成把算子链融合成一个循环,省掉虚调用与中间元组物化。3 算子链 800 万行算出每行 2 个 64 字节元组共 1.024GB,读写一次、20GB/s 下搬运 0.1024s;融合每行 6ns、100 万行 6ms,比解释 36ms 快 6 倍,lab 三用例断言。
表达式树把过滤与投影条件拆成节点,每行都要从根到叶逐节点求值。本节用一棵 9 节点表达式树、100 万行算出 900 万次节点求值,按每节点 4ns 得 36ms 解释成本;并拆解虚调用、类型检查与无法跨节点优化这三类开销,说明解释执行适合一次性查询,lab 用两个用例断言。