《大规模分布式计算深入解析》11.1 Iceberg/Delta/Hudi 的 MPP 读取路径
湖仓 Connector 先解析查询绑定的表版本,再规划要读的对象。正确结果取决于快照和删除语义,不能只枚举 Parquet 路径。
category
湖仓 Connector 先解析查询绑定的表版本,再规划要读的对象。正确结果取决于快照和删除语义,不能只枚举 Parquet 路径。
“聚合下推”可能指连接器把计算交给源端、优化器以持久化汇总回答查询,或引擎在 Exchange 前做局部聚合。三种路径的输入和失败边界不同。
精确去重需要保留区分真实值的能力。HyperLogLog 以误差换状态体积,适合允许近似的指标。
局部聚合把行转为可合并状态,再按分组键汇合。能省多少网络由每个实例实际组数、刷新次数、状态宽度和目的分布决定。
运行时过滤从 Build 侧收集约束,用于提前排除确定无匹配的 Probe 行。能否下推取决于连接语义、过滤到达时间和扫描实现。
同桶是逻辑分布条件。共置 Join 还需要两侧对应桶的可用副本放在同一个执行节点,并被规划器识别。
查询服务先验证可用引擎能否满足实际负载。规模、数据驻留、查询语义、并发与变更成本共同决定路由或自研边界。
广播与重分布的比较需要使用同一 SQL、同一 Build 输入,以及相同的序列化和跨机口径。内存上的 Hash 结构另算。
六卷用相同的数据与故障问题贯穿,从可重放输入到跨节点计划,再到结果可见性的证据。
把远端 Exchange、本地流水与算子阻塞分别定位,才能解释为什么有的 Fragment 可以重叠运行,有的要等一侧完成。
端到端优化从同一条查询的时序开始,再识别关键路径和真正可以压缩的阶段。
流控按尚未消费的数据管理驻留预算。传输了多少批、同时驻留多少字节和传输要多久,属于三个不同量。
联邦成本包含源端计算、限流、跨域搬运、调度和一致性。高频路径可以物化,但新鲜度和维护成本必须同时结账。
Exchange 为下游提供确定的分布,并定义数据如何跨 Task 或线程送达。Hash、Broadcast 和 Gather 可以出现在同一条计划。
语义层为指标定义粒度、时间、过滤、权限和 NULL 等口径。同一逻辑定义可以有多个经过验证的等价物理路径。
裁剪决定哪些数据单元可以跳过,倾斜决定剩余数据能否均衡地分给任务。两者需要不同证据。
范围分布决定有序数据的归属,复制分布给参与计算的位置提供副本,共置将多表对应桶的可用副本放在同一节点。
Hash 分布把同一语义键映射到逻辑桶。物理放置、扫描 Split 和执行并行度另有映射,桶是查询可复用的一种物理属性。
平均延迟与并发回源是不同现象。命中率要明确按请求数还是按字节统计。
交互 SQL、批作业与持续流常采用不同的交换和状态策略。沿数据有界性、延迟目标和恢复粒度比较,能解释它们为何共享算子却表现不同。