14.3 多引擎联邦与数据虚拟化
联邦成本包含源端计算、限流、跨域搬运、调度和一致性。高频路径可以物化,但新鲜度和维护成本必须同时结账。
选择执行位置与版本
单源可直接路由;多源使用 Connector 下推或在允许的源端暂存,然后在联邦引擎做 residual 和合并。对每日 20 次、每次跨域 100 GB 的路径,若每日刷新一次且只搬 100 GB,原始跨域模型可从 2 TB 降到 100 GB。进一步核对存储、回刷、源端锁、滞后和更新重复成本。两条路径要使用同一语义定义及访问策略。
“都读最新”不能推出跨源同一时间点。对账应固定各源版本与统一业务水位,或使用可审计的同步版本;遇到源超时、变更超过回填水位、不可跨域的数据,按业务契约降级或失败。每个源保留读取版本、返回字节、远端 CPU 和队列时间。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
Trino Connector 下推 · Apache Iceberg 规范
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。