《大规模分布式计算深入解析》10.2 文件缓存与结果缓存
文件缓存复用对象字节,结果缓存复用 SQL 语义结果。两个缓存键和隔离目标不同。
category
文件缓存复用对象字节,结果缓存复用 SQL 语义结果。两个缓存键和隔离目标不同。
协调器管理查询和任务,工作节点推进算子。节点间 Exchange 与客户端结果传输是两条路径,向客户端交付结果也会产生背压。
元数据缓存要把对象身份、版本与新查询的可见窗口联系起来。已有查询通常继续读它绑定的快照。
分布式规划先为物理算子确定所需的数据分布,再在远端交换边上切成 Fragment。各 Stage 的 Task 数取决于该片段的分布、数据和调度策略。
物化改写的“及时”是一项显式业务契约。基表提交、刷新执行、MV 发布与读端绑定各自影响可见时间。
MV 等价改写要同时满足数据覆盖、粒度、聚合状态、快照和权限。成本比较只对语义上合法的候选进行。
物化视图把结果的生成、版本发布与后续读分开。刷新快慢取决于变更类型、影响范围和视图维护策略。
跨源 Join 的成本先按执行位置和网络边界列出,再比较搬动哪一边。真正的远端 Join 或暂存需要权限、能力与一致性约束。
谓词下推、投影下推和文件裁剪分别改变远端计算、返回列、物理 I/O。Connector 可能只接受部分约束。
Connector 把公开的数据和能力映射成查询引擎可规划的句柄与读取工作单元。Split 是一份可调度的读取描述。
算子 Spill 把部分执行状态写到临时存储以降低内存峰值。任务级容错的 Exchange 外部化保存可重读分区输出,两者的提交和清理边界不同。
资源组配置决定谁可以申请容量、如何等待以及发生竞争时优先谁。并发上限、内存额度、CPU 权重和预留含义不同。
准入控制用有限的并发额度和队列保护系统。稳态平均等待、一个请求的等待、可承诺的延迟需要不同数据。
Window 需要满足分区、顺序和窗口帧语义。先求分布是否覆盖分区要求,再决定是否补本地排序。
局部 TopN 的安全性来自同一比较器下的排名支配关系。带 OFFSET 或 WITH TIES 时,候选边界需要扩展。
全局排序要求所有结果共享同一比较器和统一顺序。局部排序加有序归并,以及范围重分布加有序拼接,都是合法实现。
卷五〈执行引擎与存储格式内核〉的阅读路径:三条路线(性能排障 / 引擎原理 / 湖仓平台)、十五章依赖图、五组问题追踪与 45 节逐节索引;配套 bd-engine-lab 116 个断言,每节给出可复算的字节与时间账本。
《大规模分布式计算深入解析》卷五的 45 篇全书索引:从火山模型、向量化与 Push 执行,到表达式求值与代码生成,再到 Parquet/ORC 布局、编码压缩、zone map 与布隆裁剪、谓词下推与延迟物化,接着是 join、聚合、窗口算子与 CBO、AQE,最后收于存算分离、DuckDB/Velox、Snowflake、Paimon/Hudi 与性能工程;每节配可运行的 Java 最小验证,共 116 个断言。
0.5TB 复杂分析选 DuckDB、500TB 选 Spark、高并发点查选 ClickHouse(用例 96),选型先于自研;扫描占 90% 且可裁 95% 时列裁剪就有 6.9 倍(用例 116),不满足三条判据就不要自研执行层。
五卷分别回答切分重放、血缘重算、状态检查点、目录事务与查询性能五个问题,前四卷 180 篇加本卷 45 篇共 225 篇;一致性边界是暗线,本卷用 116 个断言把它落到账本上,收口于 360ms 调度税与 1.0715 秒几何平均。