《大规模分布式计算深入解析》13.1 TTL 与冷热分层:条件满足和任务执行分开

TTL TO VOLUME/TO DISK 根据数据生命周期和 part 条件触发后台移动,执行时间受调度与配置影响。一个 part 混有不同年龄行时,不能把每一行都想成到期立即独立搬移;第 31 天准时完成不是默认保证。

TTL 与冷热分层:条件满足和任务执行分开

TTL TO VOLUME/TO DISK 根据数据生命周期和 part 条件触发后台移动,执行时间受调度与配置影响。一个 part 混有不同年龄行时,不能把每一行都想成到期立即独立搬移;第 31 天准时完成不是默认保证。

机制与确认边界

MOVE、DELETE 和聚合 TTL 改变不同东西:前者调整存储位置,删除/聚合可能重写数据并改变查询结果。移到 S3 也不只是改目录名,还涉及磁盘实现、网络、缓存和访问成本。声明策略后,应从 system.parts 的 disk_name 和任务状态核对实际落点。

实现与验证范围

本包 tierFor 只表达给定年龄阈值的分类,不调度真实 TTL。原生未配置热冷介质的实验不列为分层实测。故障验收需要移动中断、目标满、读取并发和恢复后的校验,容量规划还要计迁移期间新旧副本共存的临时占用。

本章机制图

flowchart TD
    PART["混龄数据的part"] --> RULE["TTL规则与目标卷/磁盘"]
    RULE --> ELIG{"满足该移动条件?"}
    ELIG -- 否 --> HOT["继续当前存储"]
    ELIG -- 是 --> SCHED["等待后台调度与资源"]
    SCHED --> MOVE["移动、校验、发布新位置"]
    MOVE --> COLD["从目标卷读取"]
    MOVE -. "失败" .-> REC["保留可恢复位置并记录错误"]

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路