《大规模分布式计算深入解析》1.2 Coordinator、Worker 与查询生命周期

协调器管理查询和任务,工作节点推进算子。节点间 Exchange 与客户端结果传输是两条路径,向客户端交付结果也会产生背压。

1.2 Coordinator、Worker 与查询生命周期

协调器管理查询和任务,工作节点推进算子。节点间 Exchange 与客户端结果传输是两条路径,向客户端交付结果也会产生背压。

按时间和职责观察一次查询

  1. 客户端提交 SQL 和会话属性。协调器解析、分析对象与权限、获取统计并生成物理计划。准入与规划的相对时序取决于引擎和策略。
  2. 协调器展开 Stage 与 Task,分发 Fragment 和 Split 或对输入的引用。工作节点通过数据通道消费远端结果,并上报状态、计量和失败。
  3. 计划根部产出结果。以 Trino HTTP 直接协议为例,客户端向 /v1/statement 提交后按 nextUri 拉页,直至响应省略该字段,仍要检查 error。结果也可采用符合条件的 spooling 协议。
  4. 终态后分别跟踪客户端结果、查询状态和执行资源。客户端明确取消时,可对当前 nextUri 发 DELETE,协调器停止调度并传递取消。

用可观测字段建立因果关系

按 Query ID 拼接排队、规划、首次输出、末页和取消完成。Task 槽位有限时,假设 64 个任务等时、无依赖且 16 个槽持续满载,下界模型为 4 轮;真实计划要核对关键路径、数据倾斜与上下游重叠。协调器通常不承担节点间 Shuffle 中继,但直接协议中的大结果页可能消耗其网络和堆内存。客户端暂停取页时,同时观察输出缓冲和下游阻塞。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。本章架构或流程见本章机制图 。

Trino 客户端协议

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图