《大规模分布式计算深入解析》5.2 异步 INSERT:缓冲、flush 和客户端返回点

async_insert=1 将符合相同查询形态和设置的数据聚合进内存缓冲;触发条件与版本设置有关。wait_for_async_insert 默认 1,客户端等待 flush 结果;设为 0 才是缓冲后提前返回的 fire-and-forget。

异步 INSERT:缓冲、flush 和客户端返回点

async_insert=1 将符合相同查询形态和设置的数据聚合进内存缓冲;触发条件与版本设置有关。wait_for_async_insert 默认 1,客户端等待 flush 结果;设为 0 才是缓冲后提前返回的 fire-and-forget。

机制与确认边界

等待模式下,flush 成功后确认,失败要向等待者报告;提前返回模式下,随后 flush 失败或进程退出无法再把错误返回给原请求,也不能把缓冲里的行当成已持久化。不同查询形态或设置可能分属不同缓冲,不能保证所有小请求都合成一 part。

实现与验证范围

模型 Ticket 记录待确认/成功/错误,测试 flush 前后、失败和崩溃;原生显式设置 async 与 wait 参数并查询当前默认值。实验不将 1000 行或 1 秒称为默认阈值,也不以源码循环分批证明真实后台调度器行为。

本章共享图解见 5.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路