1.2 Coordinator、Worker 与查询生命周期
协调器管理查询和任务,工作节点推进算子。节点间 Exchange 与客户端结果传输是两条路径,向客户端交付结果也会产生背压。
按时间和职责观察一次查询
- 客户端提交 SQL 和会话属性。协调器解析、分析对象与权限、获取统计并生成物理计划。准入与规划的相对时序取决于引擎和策略。
- 协调器展开 Stage 与 Task,分发 Fragment 和 Split 或对输入的引用。工作节点通过数据通道消费远端结果,并上报状态、计量和失败。
- 计划根部产出结果。以 Trino HTTP 直接协议为例,客户端向
/v1/statement提交后按nextUri拉页,直至响应省略该字段,仍要检查error。结果也可采用符合条件的 spooling 协议。 - 终态后分别跟踪客户端结果、查询状态和执行资源。客户端明确取消时,可对当前
nextUri发 DELETE,协调器停止调度并传递取消。
用可观测字段建立因果关系
按 Query ID 拼接排队、规划、首次输出、末页和取消完成。Task 槽位有限时,假设 64 个任务等时、无依赖且 16 个槽持续满载,下界模型为 4 轮;真实计划要核对关键路径、数据倾斜与上下游重叠。协调器通常不承担节点间 Shuffle 中继,但直接协议中的大结果页可能消耗其网络和堆内存。客户端暂停取页时,同时观察输出缓冲和下游阻塞。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。本章架构或流程见本章机制图
。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。