《大规模分布式计算深入解析》4.1 MergeTree 数据组织:part 是文件集合

同步插入会经过解析、block 形成、按分区拆分、排序、编码与 part 发布。一次 INSERT 可能有多个 block 或跨多个分区,因此不能保证永远恰好产生一个 part。part 内数据不可原地改的约定使并发读取与替换更清楚。

MergeTree 数据组织:part 是文件集合

同步插入会经过解析、block 形成、按分区拆分、排序、编码与 part 发布。一次 INSERT 可能有多个 block 或跨多个分区,因此不能保证永远恰好产生一个 part。part 内数据不可原地改的约定使并发读取与替换更清楚。

机制与确认边界

Wide part 通常将列数据分文件,Compact 可将多列组织在共同数据文件;稀疏索引、标记、校验及元数据仍需分别解释。不能把 data.bin、marks.bin、primary.idx、count.txt 列为所有格式都固定存在的唯一文件族。

实现与验证范围

假设三批分别在同一分区各生成一 part,可手算 granule 数,但真实文件/自适应粒度以所测版本为准。查询读一组 active parts 的快照,后台合并生成新 part 后切换 active 集合;不能同时把新旧两组行都加进同一结果造成重复。

本章机制图

flowchart TD
    I["同步 INSERT 的一个或多个 block"] --> P["按分区拆分、排序、编码"] --> N["生成 parts"] --> A["发布 active 集合"]
    A --> Q["查询读取一致 part 集合"]
    A --> MERGE["同分区后台合并/策略选择"] --> NEW["发布替换 parts"]
    NEW --> OLD["旧文件等引用与清理条件,不等同 TTL"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路