《大规模分布式计算深入解析》11.3 联邦查询与同步:快照、删除和吞吐单位

联邦查询实时访问多个数据源,导入/增量同步则把外部数据复制到本地;两种路径的数据新鲜度、故障与事务边界不同。一个 SQL 访问多个源不普遍意味着每个源已建立相同时刻的一致快照。

联邦查询与同步:快照、删除和吞吐单位

联邦查询实时访问多个数据源,导入/增量同步则把外部数据复制到本地;两种路径的数据新鲜度、故障与事务边界不同。一个 SQL 访问多个源不普遍意味着每个源已建立相同时刻的一致快照。

机制与确认边界

全量同步 100 万行用一小时,平均是 100 万行/小时;增量 1000 行用五分钟为 12000 行/小时。这些是假设作业速率,不应推成端到端延迟或引擎峰值。更新时间游标还需处理相同时间戳、回退、删除和重试边界。

实现与验证范围

设计先定义源版本或水位,落地临时版本后校验并发布,失败保持旧版本可读。跨源 JOIN 可用字典、表函数或本地副本,不能保证先聚合大表再按结果逐键拉取一定是产品计划;用实际 EXPLAIN 与远端查询记录证实。

本章共享图解见 11.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路