15.1 分布式执行的设计空间总结
端到端优化从同一条查询的时序开始,再识别关键路径和真正可以压缩的阶段。
一份可复算但不重叠的账本
flowchart LR
A["入口到准入:排队"] --> P["分析与计划"]
P --> S["Stage 推进:扫描、交换、计算"]
S -->|"第一批结果可用"| R["交付结果页"]
R -.->|"消费慢时反馈"| S
S --> E["末批输出"]
R --> T["客户端读到末页"]
E --> T
T --> C["资源异步回收"]
假设串行时段分别是解析 1 ms、规划 20 ms、排队 50 ms、执行 5000 ms、交付 10 ms。合计 5081 ms,执行约占 98.406%。保持其余阶段固定,执行减半得到 2581 ms,约 1.97 倍。81 ms 只是在这些项固定且不重叠的模型下优化执行项的极限。真实流式结果的推进和交付会重叠,先用时间戳确定第一条结果、末条结果与各段关键路径。
按成本驱动选择一项实验
对同一快照和并发记录 planning、admission、stage/worker 时间、网络字节、溢写、首次和末次交付。CPU 时间跨线程可累加并超过墙钟,blocked time 也可能重叠。先找到属于关键路径的阶段,再改变分布、内存、并行度或下推中的一个因素,复测结果正确性、尾延迟和成本。跨节点分析应承接卷五 的物理读量与算子状态。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。