《大规模分布式计算深入解析》15.1 分布式执行的设计空间总结

端到端优化从同一条查询的时序开始,再识别关键路径和真正可以压缩的阶段。

15.1 分布式执行的设计空间总结

端到端优化从同一条查询的时序开始,再识别关键路径和真正可以压缩的阶段。

一份可复算但不重叠的账本

flowchart LR
  A["入口到准入:排队"] --> P["分析与计划"]
  P --> S["Stage 推进:扫描、交换、计算"]
  S -->|"第一批结果可用"| R["交付结果页"]
  R -.->|"消费慢时反馈"| S
  S --> E["末批输出"]
  R --> T["客户端读到末页"]
  E --> T
  T --> C["资源异步回收"]

假设串行时段分别是解析 1 ms、规划 20 ms、排队 50 ms、执行 5000 ms、交付 10 ms。合计 5081 ms,执行约占 98.406%。保持其余阶段固定,执行减半得到 2581 ms,约 1.97 倍。81 ms 只是在这些项固定且不重叠的模型下优化执行项的极限。真实流式结果的推进和交付会重叠,先用时间戳确定第一条结果、末条结果与各段关键路径。

按成本驱动选择一项实验

对同一快照和并发记录 planning、admission、stage/worker 时间、网络字节、溢写、首次和末次交付。CPU 时间跨线程可累加并超过墙钟,blocked time 也可能重叠。先找到属于关键路径的阶段,再改变分布、内存、并行度或下推中的一个因素,复测结果正确性、尾延迟和成本。跨节点分析应承接卷五 的物理读量与算子状态。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

Trino EXPLAIN ANALYZE

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图