同步 INSERT:part 发布与持久化边界
普通 MergeTree 同步 INSERT 主要走解析、block 处理、分区/排序/编码、写 part 与发布可见性路径,不能直接写成默认 LSM 的 WAL→memtable→flush。日志、缓冲和队列在不同引擎或选项下承担不同职责,应逐一命名。
机制与确认边界
成功返回后本地查询可读与设备断电可恢复不是同一保证;fsync 配置、文件/目录同步、复制确认和硬件持久性都会影响边界。Distributed 表的发送队列、ReplicatedMergeTree 的协调元数据、async insert 的缓冲都不能互相替代。
实现与验证范围
新版原生探针检查同步插入前后行数与 mutation,但不宣称完成断电测试。Java ingest 明确取消伪造 WAL,分别模拟异步确认和有限去重窗口;读者若实现持久层,还需真实 force、截断写、恢复与目录发布实验。
本章机制图
flowchart TD
I["写本地 MergeTree"] --> A{"async_insert?"}
A -- 否 --> P["形成并发布 parts"] --> ACK["返回结果;设备持久性另判"]
A -- 是 --> B["匹配形态/设置的内存缓冲"] --> W{"wait_for_async_insert?"}
W -- 0 --> EARLY["提前返回;后续失败不能回传"]
W -- 1 --> WAIT["等待 flush 成功或错误"]
B --> FL["触发 flush,发布 parts"] --> WAIT
B -. "flush 前退出" .-> LOSS["尚未持久化的数据可能丢失"]
复现与资料
下载本卷实验包
,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。