《大规模分布式计算深入解析》15.3 从引擎到自研执行层

0.5TB 复杂分析选 DuckDB、500TB 选 Spark、高并发点查选 ClickHouse(用例 96),选型先于自研;扫描占 90% 且可裁 95% 时列裁剪就有 6.9 倍(用例 116),不满足三条判据就不要自研执行层。

15.3 从引擎到自研执行层

当一个团队说「我们要自研执行引擎」时,真正的问题通常不是引擎不够快,而是三件事之一:选错了引擎、没做裁剪、把平台问题当成了内核问题。自研是这些选项里最贵的一个——它要求团队同时具备存储格式、算子实现、优化器与基准方法四套能力,而任何一套缺失,做出来的东西都会比开源慢。

本节沿一条判断链走:现象是「开源引擎达不到要求」,机制是要求本身可能来自选型错误或配置缺失,账本是用例 96 的三条选型判据与用例 116 的 6.9 倍裁剪收益,判据是四条自研信号里至少满足三条、且能用可比基准证明开源确实做不到。

先证明开源引擎不够用

证明的顺序很重要:先用尽开源引擎已有的能力,再谈它做不到什么。 已有能力包括三块:

手段典型收益成本
选对引擎从「不适用」到「适用」一次基准(14.1 的四条件)
正确配置分区数、文件大小、内存比例几天调优
裁剪与下推用例 116 场景下 6.9 倍改 SQL 与表设计

以用例 116 的场景为例:扫描占 90%、可裁 95% 的列。列裁剪把总时间压到 0.145T,加速 6.9 倍(公式推导)。这个收益不需要写一行执行层代码,只需要把 SELECT * 改成列清单、把分区键放进谓词。如果这一步没做就来评估自研,等于在错误的基线上做对比。

「八成问题靠配置与裁剪解决」这句话没有测量来源,只能当经验估计;但它背后的机制是确定的:大多数慢查询的根因在数据路径(读多了、溢写了),而不在引擎缺少某个算子。

用例 96:选型先于自研

lab 把引擎选型写成三条判据,顺序是先看并发形态,再看数据量,最后看分析复杂度:

// 用例 96:引擎选型三判据
Storage.chooseEngine(0.5, true, false);   // → "duckdb"
Storage.chooseEngine(500.0, true, false); // → "spark"
Storage.chooseEngine(1.0, false, true);   // → "clickhouse"
数据量复杂分析高并发点查选择理由
0.5TB是否DuckDB(用例 96)单机可容纳,向量化在本地盘上效率高
500TB是否Spark(用例 96)超出单机,需要分布式 shuffle 与容错
1TB否是ClickHouse(用例 96)点查靠列存与索引,不靠复杂规划

三条判据的优先级不是随意的:并发形态决定架构(点查与分析的优化方向相反),数据量决定部署形态(单机还是分布式),复杂度决定是否需要 CBO。选型错了,自研只是在错误的架构上重写一遍。

四个值得自研的信号

信号具体判据反例(不构成理由)
引擎无法表达的算子或格式有明确语义、开源无等价实现、且占负载主要成本「我们的 SQL 写法比较特殊」——通常是改写问题
极端成本结构单位查询成本中固定开销占多数,且已无法靠配置压缩「比竞品贵 20%」——先做裁剪与选型
许可或锁定许可证限制商用,或数据必须留在特定边界内「不想依赖社区」——可用开放许可的引擎
团队已有执行层积累已有向量化算子库、格式读写与基准设施「想锻炼团队」——不是工程理由

四条里最容易误判的是第一条。「引擎不支持我们的算子」经常意味着「我们没找到等价的表达」:窗口函数、LATERAL、半连接、聚合下推这些能力,主流引擎大多已有等价形式。判断标准是「能否用现有算子组合出等价语义且成本可接受」,而不是「有没有同名算子」。

三阶段路径与验证门槛

自研不应该一步替换整个引擎,而是三段递进,每段都有独立的门槛:

阶段做什么验证门槛失败时的退路
一:扩展算子/格式写自定义算子、自定义文件格式或编码正确性回归全绿;单算子对标开源实现不慢于 1 倍只上线该算子,其余走原引擎
二:替换执行层用自己的调度与算子栈执行物理计划可比基准(14.1 四条件)下整体不慢;116 类账本口径可复算保留开关,按查询灰度
三:替换规划器自己的代价模型与规则集在固定查询集上计划质量不劣于原优化器规划器可独立回退

每一段的门槛都必须包含正确性,而不只是性能。执行层的 bug 往往不报错,只算错:聚合少算一行、join 丢一个分区、null 语义处理不同。这些错误在性能测试里完全看不见。

复用 Velox/DataFusion 还是从零写

维度复用执行库(Velox/DataFusion)从零写
起步成本低,算子与类型系统现成高,先写向量与表达式
可控性受限于库的算子集与内存模型完全可控
格式支持需要自己做适配层可与格式深度协同
优化空间集中在计划与调度层全栈可改
团队要求懂库的接口与内存约定懂向量化、SIMD、分配器
典型失败模式适配层成为新瓶颈三年做出一个更慢的引擎

取舍的关键不是「哪个更强」,而是「瓶颈在哪一层」:如果瓶颈在计划与调度(例如多租户隔离、跨源融合),复用执行库、自己写规划层是合理路径;如果瓶颈在格式与算子融合(例如专有编码、硬件加速),才需要下沉到执行层。

自研的成本结构

自研的账不能只算开发人力,它有三类成本,其中后两类通常被低估:

成本一次性还是持续具体内容被低估的原因
开发一次性算子、格式读写、规划器、调度只算功能,不算边界用例
正确性持续空值语义、溢出、编码边界、并发性能测试看不见静默算错
跟随持续新格式版本、新硬件、上游修复开源每年白送的维护量

跟随成本是最容易被漏掉的一项:开源引擎每年在编码、压缩、SIMD、向量化原语上的演进,自研团队要全部重做一遍。一个三人团队维护一套执行层,通常只能做到「不退化」,很难做到「跟上」。

一个常见的失败形状

自研项目最常见的失败不是「写不出来」,而是「写出来了但整体更慢」:

阶段发生什么账本上的表现
立项选一个最慢的算子作为目标该算子确实快了数倍
集成新算子接入原引擎,数据类型要来回转换转换开销吃掉算子收益
扩展为了让新算子可用,改计划与调度其他算子的路径被拖慢
收尾只有少数模板走新路径整体基准几乎不动

根因是「单点收益」与「端到端收益」不是一回事:用例 116 的 6.9 倍能成立,是因为它作用于占总时间 90% 的扫描,而且不引入额外转换;一个只占 5% 的算子即使快十倍,端到端也只有 1.05 倍附近的收益上限(用例 114 的份额结构同理)。立项前先算这个上限,比写完再测便宜得多。

自研的基准门票

自研要证明「更好」,就必须先能证明「可比」。门票是 14.1 的两条:

门票要求用例
汇总口径几何平均,报 p50 与 max用例 111:1.071518 秒对算术平均 10.99 秒
可比四条件数据、硬件、并发、缓存一致用例 112:四项全真才可比

缺了这两条,自研团队的「快 2 倍」和开源的「快 3 倍」只能是两组无法对照的数字。更隐蔽的风险是把「裁剪后的自研」与「未裁剪的开源」对比:前者 6.9 倍的优势里,大部分来自列裁剪而不是执行层。

不满足三条就不要自研

检查项通过条件不通过说明什么
1 已用尽配置与裁剪列裁剪、分区裁剪、下推全部生效,读放大接近 1还没到需要自研的地步
2 有明确的表达缺口存在开源无法等价表达且占主要成本的算子/格式缺口可能只是没找到等价写法
3 有可复现的基准能用 14.1 口径证明差距,且差距不能靠配置消除差距无法归因,自研目标不清
4 有正确性回归设施有结果比对、边界用例、账本口径做出来也不敢上线
5 有长期维护预算至少一个团队持续投入一年后无人维护,回退成本更高

判据是:1、2、3 必须全过,4、5 至少过一条。 只满足 1 和 2 就开工,通常得到的是一个「针对某个算子很快、整体更慢」的系统;满足 1、2、3 但缺 4,则会在上线前的正确性验证上卡住。

这张清单的用法是逐项留下证据,而不是逐项打勾:第 1 项要附读放大与裁剪前后的基准,第 2 项要附等价写法的尝试记录,第 3 项要附四条件下的可比结果。证据留不下来的项,等同于没过——因为它无法在下一次评审时被复核。

退路设计:自研也要能回退

回退层级做法触发条件
查询级按查询模板灰度,出问题单条回退结果不一致或明显变慢
算子级自定义算子保留开关单算子正确性回归失败
计划级规划器可切换回原优化器计划质量下降
版本级保留上一版执行层镜像大面积故障

没有回退设计的自研等于把整个平台押在一次重构上。 这与前四卷的容错思路一致:任何改动都应该有「回到已知正确状态」的路径,区别只是这里的单位是查询与算子,而不是任务与检查点。

回退要能自动触发,而不是等人发现。三个可自动化的判据:单查询结果与旧路径比对不一致、同一查询在可比条件下的耗时超出阈值、失败率超过基线。三者都来自本节前面的账本口径,不需要新的度量体系。

三个常见误解

误解一:开源引擎慢,所以必须自研。 真相:先用尽选型、配置与裁剪。用例 116 场景下列裁剪就有 6.9 倍,不需要写执行层;把这一步的收益算进自研成绩,是常见的归因错误。

误解二:自研的关键是算子写得快。 真相:关键是计划与调度。算子层的差距通常在常数倍,而计划选错会差一个数量级(用例 75 的 6 种顺序);先替换算子栈、不动规划器,往往拿不到预期收益。

误解三:只要性能达标就可以上线。 真相:执行层的错误多为静默算错——聚合少一行、join 丢分区、null 语义不同。没有正确性回归与账本口径,性能越好风险越大。

一句话总结本节

自研执行层之前,先用例 96 的判据确认选型正确、用例 116 的 6.9 倍确认裁剪已用尽;四条自研信号里表达缺口与成本结构必须成立,且要有用例 111、112 口径的可比基准与正确性回归。路径分扩展算子、替换执行层、替换规划器三段,每段都要能回退——不满足三条,就不要自研。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证选型与裁剪判据:

  • 源码:src/lakehouse/Lakehouse.java、src/lakehouse/LakehouseSuite.java,以及复用的 src/storage/Storage.java、src/storage/StorageSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:复用 11.3 的用例 96,验证「0.5TB 复杂分析选 duckdb、500TB 选 spark、高并发点查选 clickhouse」;复用 15.1 的用例 116,验证「扫描占比 0.9、可裁 0.95 时首选 column-pruning」;用例 111 与 112 提供自研对标所需的几何平均口径与可比四条件。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:开源引擎达不到要求 → 先排除选型错误与未做的裁剪 → 用 6.9 倍与三条选型判据确认差距是否真实存在 → 只有表达缺口、成本结构与可比基准同时成立,才进入三段式自研并保留回退。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图