《大规模分布式计算深入解析》8.1 connector 抽象:split、分区与并行度

Connector 把公开的数据和能力映射成查询引擎可规划的句柄与读取工作单元。Split 是一份可调度的读取描述。

8.1 connector 抽象:split、分区与并行度

Connector 把公开的数据和能力映射成查询引擎可规划的句柄与读取工作单元。Split 是一份可调度的读取描述。

从元数据到 PageSource

引擎经 Connector 获取表/列句柄、约束和统计。规划器可能多次试探过滤、投影、聚合或连接下推。Split Manager 根据版本、约束、列和数据布局枚举范围,协调器把 Split 送给工作节点,读取接口返回页或记录。Split 可以是行组范围、多个小文件组合、Shard 范围或数据源特定句柄;Task 往往消费多个 Split。

切分和并发的不同上限

100 GiB 均匀划成 128 MiB 输入单位,模型约 800 个 Split,均摊到 16 节点约 50 个/节点。实际并发受线程、可切分格式、文件布局、源端连接数和内存影响。核对计划候选文件数、实际调度 Split、每秒读页和源端连接峰值。也要检查取消后读取是否停止。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

Trino Connector 开发接口 · Trino Connector 下推

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图