《大规模分布式计算深入解析》5.1 同步 INSERT:part 发布与持久化边界

普通 MergeTree 同步 INSERT 主要走解析、block 处理、分区/排序/编码、写 part 与发布可见性路径,不能直接写成默认 LSM 的 WAL→memtable→flush。日志、缓冲和队列在不同引擎或选项下承担不同职责,应逐一命名。

同步 INSERT:part 发布与持久化边界

普通 MergeTree 同步 INSERT 主要走解析、block 处理、分区/排序/编码、写 part 与发布可见性路径,不能直接写成默认 LSM 的 WAL→memtable→flush。日志、缓冲和队列在不同引擎或选项下承担不同职责,应逐一命名。

机制与确认边界

成功返回后本地查询可读与设备断电可恢复不是同一保证;fsync 配置、文件/目录同步、复制确认和硬件持久性都会影响边界。Distributed 表的发送队列、ReplicatedMergeTree 的协调元数据、async insert 的缓冲都不能互相替代。

实现与验证范围

新版原生探针检查同步插入前后行数与 mutation,但不宣称完成断电测试。Java ingest 明确取消伪造 WAL,分别模拟异步确认和有限去重窗口;读者若实现持久层,还需真实 force、截断写、恢复与目录发布实验。

本章机制图

flowchart TD
    I["写本地 MergeTree"] --> A{"async_insert?"}
    A -- 否 --> P["形成并发布 parts"] --> ACK["返回结果;设备持久性另判"]
    A -- 是 --> B["匹配形态/设置的内存缓冲"] --> W{"wait_for_async_insert?"}
    W -- 0 --> EARLY["提前返回;后续失败不能回传"]
    W -- 1 --> WAIT["等待 flush 成功或错误"]
    B --> FL["触发 flush,发布 parts"] --> WAIT
    B -. "flush 前退出" .-> LOSS["尚未持久化的数据可能丢失"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路