15.3 从引擎到自研执行层
当一个团队说「我们要自研执行引擎」时,真正的问题通常不是引擎不够快,而是三件事之一:选错了引擎、没做裁剪、把平台问题当成了内核问题。自研是这些选项里最贵的一个——它要求团队同时具备存储格式、算子实现、优化器与基准方法四套能力,而任何一套缺失,做出来的东西都会比开源慢。
本节沿一条判断链走:现象是「开源引擎达不到要求」,机制是要求本身可能来自选型错误或配置缺失,账本是用例 96 的三条选型判据与用例 116 的 6.9 倍裁剪收益,判据是四条自研信号里至少满足三条、且能用可比基准证明开源确实做不到。
先证明开源引擎不够用
证明的顺序很重要:先用尽开源引擎已有的能力,再谈它做不到什么。 已有能力包括三块:
| 手段 | 典型收益 | 成本 |
|---|---|---|
| 选对引擎 | 从「不适用」到「适用」 | 一次基准(14.1 的四条件) |
| 正确配置 | 分区数、文件大小、内存比例 | 几天调优 |
| 裁剪与下推 | 用例 116 场景下 6.9 倍 | 改 SQL 与表设计 |
以用例 116 的场景为例:扫描占 90%、可裁 95% 的列。列裁剪把总时间压到 0.145T,加速 6.9 倍(公式推导)。这个收益不需要写一行执行层代码,只需要把 SELECT * 改成列清单、把分区键放进谓词。如果这一步没做就来评估自研,等于在错误的基线上做对比。
「八成问题靠配置与裁剪解决」这句话没有测量来源,只能当经验估计;但它背后的机制是确定的:大多数慢查询的根因在数据路径(读多了、溢写了),而不在引擎缺少某个算子。
用例 96:选型先于自研
lab 把引擎选型写成三条判据,顺序是先看并发形态,再看数据量,最后看分析复杂度:
// 用例 96:引擎选型三判据
Storage.chooseEngine(0.5, true, false); // → "duckdb"
Storage.chooseEngine(500.0, true, false); // → "spark"
Storage.chooseEngine(1.0, false, true); // → "clickhouse"
| 数据量 | 复杂分析 | 高并发点查 | 选择 | 理由 |
|---|---|---|---|---|
| 0.5TB | 是 | 否 | DuckDB(用例 96) | 单机可容纳,向量化在本地盘上效率高 |
| 500TB | 是 | 否 | Spark(用例 96) | 超出单机,需要分布式 shuffle 与容错 |
| 1TB | 否 | 是 | ClickHouse(用例 96) | 点查靠列存与索引,不靠复杂规划 |
三条判据的优先级不是随意的:并发形态决定架构(点查与分析的优化方向相反),数据量决定部署形态(单机还是分布式),复杂度决定是否需要 CBO。选型错了,自研只是在错误的架构上重写一遍。
四个值得自研的信号
| 信号 | 具体判据 | 反例(不构成理由) |
|---|---|---|
| 引擎无法表达的算子或格式 | 有明确语义、开源无等价实现、且占负载主要成本 | 「我们的 SQL 写法比较特殊」——通常是改写问题 |
| 极端成本结构 | 单位查询成本中固定开销占多数,且已无法靠配置压缩 | 「比竞品贵 20%」——先做裁剪与选型 |
| 许可或锁定 | 许可证限制商用,或数据必须留在特定边界内 | 「不想依赖社区」——可用开放许可的引擎 |
| 团队已有执行层积累 | 已有向量化算子库、格式读写与基准设施 | 「想锻炼团队」——不是工程理由 |
四条里最容易误判的是第一条。「引擎不支持我们的算子」经常意味着「我们没找到等价的表达」:窗口函数、LATERAL、半连接、聚合下推这些能力,主流引擎大多已有等价形式。判断标准是「能否用现有算子组合出等价语义且成本可接受」,而不是「有没有同名算子」。
三阶段路径与验证门槛
自研不应该一步替换整个引擎,而是三段递进,每段都有独立的门槛:
| 阶段 | 做什么 | 验证门槛 | 失败时的退路 |
|---|---|---|---|
| 一:扩展算子/格式 | 写自定义算子、自定义文件格式或编码 | 正确性回归全绿;单算子对标开源实现不慢于 1 倍 | 只上线该算子,其余走原引擎 |
| 二:替换执行层 | 用自己的调度与算子栈执行物理计划 | 可比基准(14.1 四条件)下整体不慢;116 类账本口径可复算 | 保留开关,按查询灰度 |
| 三:替换规划器 | 自己的代价模型与规则集 | 在固定查询集上计划质量不劣于原优化器 | 规划器可独立回退 |
每一段的门槛都必须包含正确性,而不只是性能。执行层的 bug 往往不报错,只算错:聚合少算一行、join 丢一个分区、null 语义处理不同。这些错误在性能测试里完全看不见。
复用 Velox/DataFusion 还是从零写
| 维度 | 复用执行库(Velox/DataFusion) | 从零写 |
|---|---|---|
| 起步成本 | 低,算子与类型系统现成 | 高,先写向量与表达式 |
| 可控性 | 受限于库的算子集与内存模型 | 完全可控 |
| 格式支持 | 需要自己做适配层 | 可与格式深度协同 |
| 优化空间 | 集中在计划与调度层 | 全栈可改 |
| 团队要求 | 懂库的接口与内存约定 | 懂向量化、SIMD、分配器 |
| 典型失败模式 | 适配层成为新瓶颈 | 三年做出一个更慢的引擎 |
取舍的关键不是「哪个更强」,而是「瓶颈在哪一层」:如果瓶颈在计划与调度(例如多租户隔离、跨源融合),复用执行库、自己写规划层是合理路径;如果瓶颈在格式与算子融合(例如专有编码、硬件加速),才需要下沉到执行层。
自研的成本结构
自研的账不能只算开发人力,它有三类成本,其中后两类通常被低估:
| 成本 | 一次性还是持续 | 具体内容 | 被低估的原因 |
|---|---|---|---|
| 开发 | 一次性 | 算子、格式读写、规划器、调度 | 只算功能,不算边界用例 |
| 正确性 | 持续 | 空值语义、溢出、编码边界、并发 | 性能测试看不见静默算错 |
| 跟随 | 持续 | 新格式版本、新硬件、上游修复 | 开源每年白送的维护量 |
跟随成本是最容易被漏掉的一项:开源引擎每年在编码、压缩、SIMD、向量化原语上的演进,自研团队要全部重做一遍。一个三人团队维护一套执行层,通常只能做到「不退化」,很难做到「跟上」。
一个常见的失败形状
自研项目最常见的失败不是「写不出来」,而是「写出来了但整体更慢」:
| 阶段 | 发生什么 | 账本上的表现 |
|---|---|---|
| 立项 | 选一个最慢的算子作为目标 | 该算子确实快了数倍 |
| 集成 | 新算子接入原引擎,数据类型要来回转换 | 转换开销吃掉算子收益 |
| 扩展 | 为了让新算子可用,改计划与调度 | 其他算子的路径被拖慢 |
| 收尾 | 只有少数模板走新路径 | 整体基准几乎不动 |
根因是「单点收益」与「端到端收益」不是一回事:用例 116 的 6.9 倍能成立,是因为它作用于占总时间 90% 的扫描,而且不引入额外转换;一个只占 5% 的算子即使快十倍,端到端也只有 1.05 倍附近的收益上限(用例 114 的份额结构同理)。立项前先算这个上限,比写完再测便宜得多。
自研的基准门票
自研要证明「更好」,就必须先能证明「可比」。门票是 14.1 的两条:
| 门票 | 要求 | 用例 |
|---|---|---|
| 汇总口径 | 几何平均,报 p50 与 max | 用例 111:1.071518 秒对算术平均 10.99 秒 |
| 可比四条件 | 数据、硬件、并发、缓存一致 | 用例 112:四项全真才可比 |
缺了这两条,自研团队的「快 2 倍」和开源的「快 3 倍」只能是两组无法对照的数字。更隐蔽的风险是把「裁剪后的自研」与「未裁剪的开源」对比:前者 6.9 倍的优势里,大部分来自列裁剪而不是执行层。
不满足三条就不要自研
| 检查项 | 通过条件 | 不通过说明什么 |
|---|---|---|
| 1 已用尽配置与裁剪 | 列裁剪、分区裁剪、下推全部生效,读放大接近 1 | 还没到需要自研的地步 |
| 2 有明确的表达缺口 | 存在开源无法等价表达且占主要成本的算子/格式 | 缺口可能只是没找到等价写法 |
| 3 有可复现的基准 | 能用 14.1 口径证明差距,且差距不能靠配置消除 | 差距无法归因,自研目标不清 |
| 4 有正确性回归设施 | 有结果比对、边界用例、账本口径 | 做出来也不敢上线 |
| 5 有长期维护预算 | 至少一个团队持续投入 | 一年后无人维护,回退成本更高 |
判据是:1、2、3 必须全过,4、5 至少过一条。 只满足 1 和 2 就开工,通常得到的是一个「针对某个算子很快、整体更慢」的系统;满足 1、2、3 但缺 4,则会在上线前的正确性验证上卡住。
这张清单的用法是逐项留下证据,而不是逐项打勾:第 1 项要附读放大与裁剪前后的基准,第 2 项要附等价写法的尝试记录,第 3 项要附四条件下的可比结果。证据留不下来的项,等同于没过——因为它无法在下一次评审时被复核。
退路设计:自研也要能回退
| 回退层级 | 做法 | 触发条件 |
|---|---|---|
| 查询级 | 按查询模板灰度,出问题单条回退 | 结果不一致或明显变慢 |
| 算子级 | 自定义算子保留开关 | 单算子正确性回归失败 |
| 计划级 | 规划器可切换回原优化器 | 计划质量下降 |
| 版本级 | 保留上一版执行层镜像 | 大面积故障 |
没有回退设计的自研等于把整个平台押在一次重构上。 这与前四卷的容错思路一致:任何改动都应该有「回到已知正确状态」的路径,区别只是这里的单位是查询与算子,而不是任务与检查点。
回退要能自动触发,而不是等人发现。三个可自动化的判据:单查询结果与旧路径比对不一致、同一查询在可比条件下的耗时超出阈值、失败率超过基线。三者都来自本节前面的账本口径,不需要新的度量体系。
三个常见误解
误解一:开源引擎慢,所以必须自研。 真相:先用尽选型、配置与裁剪。用例 116 场景下列裁剪就有 6.9 倍,不需要写执行层;把这一步的收益算进自研成绩,是常见的归因错误。
误解二:自研的关键是算子写得快。 真相:关键是计划与调度。算子层的差距通常在常数倍,而计划选错会差一个数量级(用例 75 的 6 种顺序);先替换算子栈、不动规划器,往往拿不到预期收益。
误解三:只要性能达标就可以上线。 真相:执行层的错误多为静默算错——聚合少一行、join 丢分区、null 语义不同。没有正确性回归与账本口径,性能越好风险越大。
一句话总结本节
自研执行层之前,先用例 96 的判据确认选型正确、用例 116 的 6.9 倍确认裁剪已用尽;四条自研信号里表达缺口与成本结构必须成立,且要有用例 111、112 口径的可比基准与正确性回归。路径分扩展算子、替换执行层、替换规划器三段,每段都要能回退——不满足三条,就不要自研。
本节 lab
在 bd-engine-lab 中验证选型与裁剪判据:
- 源码:
src/lakehouse/Lakehouse.java、src/lakehouse/LakehouseSuite.java,以及复用的src/storage/Storage.java、src/storage/StorageSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:复用 11.3 的用例 96,验证「0.5TB 复杂分析选 duckdb、500TB 选 spark、高并发点查选 clickhouse」;复用 15.1 的用例 116,验证「扫描占比 0.9、可裁 0.95 时首选 column-pruning」;用例 111 与 112 提供自研对标所需的几何平均口径与可比四条件。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:开源引擎达不到要求 → 先排除选型错误与未做的裁剪 → 用 6.9 倍与三条选型判据确认差距是否真实存在 → 只有表达缺口、成本结构与可比基准同时成立,才进入三段式自研并保留回退。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。