《大规模分布式计算深入解析》11.1 外部字典:layout、刷新和原子替换

字典 source 定义数据来源,layout 定义 full-memory、cache、direct 等访问形态。hashed/flat 全量加载字典可以在读时走内存,但不能据此说所有 layout 加载一次后永不读远端;刷新仍会产生远端 IO。

外部字典:layout、刷新和原子替换

字典 source 定义数据来源,layout 定义 full-memory、cache、direct 等访问形态。hashed/flat 全量加载字典可以在读时走内存,但不能据此说所有 layout 加载一次后永不读远端;刷新仍会产生远端 IO。

机制与确认边界

成功的全量更新以新版本原子替换旧版本,更新失败可继续用旧版本,不是“加载期间新旧条目混合”。不同查询、节点和字典之间不因此获得一个跨源全局快照,LIFETIME 也不等于精确准时刷新 SLA。

实现与验证范围

update_field 等增量机制需要源更新时间/删除表达,删除若未被源合同表达可能残留。实验单节点字典加载与重新加载只验证该 layout;缓存命中率、冷启动、源失败和高并发刷新需单独记录,不把查询次数直接当命中次数。

本章机制图

flowchart TD
    SRC["远端数据源"] --> LOAD["字典 source/layout"] --> NEW["构建新全量版本"] --> SWAP["成功时原子替换"]
    LOAD -. "失败" .-> OLD["继续旧版本,记录异常"]
    Q["联邦 SQL"] --> TF["表函数/bridge 与有限下推"] --> SRC
    Q --> LOCAL["本地数据或字典"]
    TF --> JOIN["按查询计划组合,不保证跨源同一快照"]
    LOCAL --> JOIN

状态与时序补图

flowchart TD
    Q["读查询"] --> OLD["已发布字典版本"]
    SRC["source更新"] --> BUILD["后台构建新全量版本"] --> OK{"加载成功?"}
    OK -- 否 --> ERR["记错并继续旧版本"]
    OK -- 是 --> SWAP["原子替换字典引用"] --> NEW["后续读使用新版本"]
    NEW --> NOTE["cache/direct等layout另有访问与新鲜度边界"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路