《大规模分布式计算深入解析》4.2 分区、后台合并与旧 part 生命周期

PARTITION BY 把数据按表达式划分为逻辑分区,part 名称和文件路径编码相应标识;它不必表现成每分区一个目录。合并只在兼容的同分区 parts 中选择候选,并受大小、资源与策略约束,不承诺最终每分区永远只剩一个。

分区、后台合并与旧 part 生命周期

PARTITION BY 把数据按表达式划分为逻辑分区,part 名称和文件路径编码相应标识;它不必表现成每分区一个目录。合并只在兼容的同分区 parts 中选择候选,并受大小、资源与策略约束,不承诺最终每分区永远只剩一个。

机制与确认边界

合并读旧 parts、生成新 part、发布替换集合,再延迟回收不再需要的旧文件。查询持有的快照和引用、后台清理时机与存储实现决定回收;TTL 是数据生命周期规则,不是所有 inactive part 清理的统称。

实现与验证范围

实验内存 MergeTree 对指定分区 merge,检查读取多重集守恒且另一分区保留。原生探针停止自动合并建立确定夹具,再显式 OPTIMIZE FINAL 观察;这是操作行为验证,不把一次 3→2 的结果当作普遍后台合并策略或性能结论。

本章共享图解见 4.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路