《大规模分布式计算深入解析》15.1 执行引擎设计空间总结
执行引擎的五层旋钮各有成本:扫描占 90% 且可裁 95% 时先做列裁剪,总时间降到 0.145T、加速 6.9 倍;而砍半剩余 CPU 只有 1.05 倍。先按用例 116 的判据定位,再只动最有杠杆的一层。
category
执行引擎的五层旋钮各有成本:扫描占 90% 且可裁 95% 时先做列裁剪,总时间降到 0.145T、加速 6.9 倍;而砍半剩余 CPU 只有 1.05 倍。先按用例 116 的判据定位,再只动最有杠杆的一层。
扫描占 90% 时根因判为 IO,因为剩余所有算子加起来也不到总时长的 10%;按扫描、算子、等待、估算四类分流,先看读字节、spill 量与 wall/CPU 比,再决定回看 3–5 章、6–7 章还是 8–9 章。
10 秒执行按 99Hz 采样得 990 个样本,60% 占比的标准误约 1.56 个百分点;火焰图上 0.6+0.2+0.1 的前 3 个算子合计 90%,先修这三个就能拿到九成收益,但 on-CPU 采样看不见 IO 等待。
99 条 1 秒查询加 1 条 1000 秒查询,算术平均被拉成 10.99 秒,几何平均只有 1.071518 秒,最慢那条独占 91% 话语权;基准可比要数据、硬件、并发、缓存四项同时一致,缺一项倍数就不成立。
跟踪流式写出的 checkpoint、表提交与读者发现,区分可见延迟和文件合并。
以 Hudi 1.2.1 为参照区分 COW/MOR、file slice、快照、增量最新状态与 CDC。
按主键、bucket、LSM run 与 merge engine 解释 Paimon 读写,按实际字节测量放大。
100 次查询、20% 冷启动、冷启动 2000ms 对热查询 200ms,额外总耗时 36s,是热执行 20s 的 1.8 倍;预置 10 倍容量应对平均需求 1 单位时利用率只有 10%。弹性把成本换成延迟,预置把成本换成闲置。
用一个明确的假设单价复算单项及联合裁剪,并区分 BigQuery 与 Athena 的账单口径。
1GiB 的表按 16MiB 切成 64 个微分区,元数据随分区数线性增长;虚拟仓库从 XS 的 1 credit/h 到 4XL 的 128 credit/h,规模差 128 倍,只有并行加速比接近 128 时才不亏。
0.5TB 复杂分析选 DuckDB、500TB 选 Spark、高并发点查选 ClickHouse,三条判据分别是数据量、并发形态与延迟预算。数据量差 1000 倍时结论会翻转,但小数据加多机容错是判据的反例:量小不等于该用单机。
1 亿行按 2048 行一批是 48829 批,比按 1024 行切少一半批数、也就少一半每批固定开销;100 列宽表只读 3 列时列存只需 3% 的 IO,行存必须整行读。执行库与完整引擎的分界线,决定了这两笔账由谁来付。
100 个 morsel、4 线程、每块 25ms,DuckDB 的并行时间是 625ms,相对串行 2500ms 正好 4 倍线性扩展。进程内执行删掉了网络与协调,morsel 队列让并行度由线程数而非数据分区决定,这是单机引擎在 1TB 以内能打的账本。
存算分离拿走了本地性,只能靠缓存、调度亲和与下推重建。本节用 100 万行在存储层聚合到 100 行、传输量降 99.99% 说明杠杆,用 10GB 数据走网络 100MB/s 需 100 秒、本地缓存 2000MB/s 仅 5 秒的 20 倍差距,收束判断链。
缓存不是加了就快,命中率决定一切。本节用命中 1ms、未命中 50ms、命中率 90% 算出平均读延迟 5.9ms,用热数据 12TB、缓存 10TB 推出 83.3% 的命中率上限,对比本地盘与分布式缓存的一致性与失效,并给出命中率阈值与容量配比的判断口径。
以 Amazon S3 的桶类型和并发写入为例,区分单对象可见性、表快照发布与列表成本。
倾斜让少数分区拖住整个作业。本节用 10 个分区中 3 个超过 500MB 阈值说明判定口径,用 10GB 分区按 1GB 拆成 10 个子任务说明拆分方式,再用作业从 3600 秒降到 1200 秒、加速 3 倍说明倾斜处理为何是整条链路里回报最高的一步。
区分静态分区裁剪、Spark 3.5.7 的运行时分区过滤、广播复用与回退。
静态计划在运行前把算子定死,估算错了只能一路错到底。AQE 用运行时统计纠偏:200 个 5MB 小分区合并成 10 个 100MB 分区,build 侧实际 200MB 超 64MB 就切 shuffle join,并用中位数 100MB 乘 5 得 500MB 倾斜阈值。
join 顺序的候选数是阶乘级的:3 表 6 种、4 表 24 种、10 表光 DP 就要枚举 10240 个子集。本节用 1000 行 × 1 万行、右表 NDV 1000 算出中间结果 1 万行,说明两种顺序为何相差 10 倍,以及代价模型如何据此挑顺序。