《大规模分布式计算深入解析》4.1 TieredMergePolicy

按段预算和成本理解实际候选选择。

按段预算和成本理解实际候选选择。

实现机制

策略先估算允许的段层次,再对候选比较大小偏斜、总字节及可回收删除量。可选择不相邻段,最大输出等参数也约束选择。

最小段组合只是常见候选,不能当成一般判据。单次 force merge 另有约束和代价。

TieredMergePolicy的执行路径

flowchart TD
    N0["计算段预算和有效大小"]
    N1["根据偏斜、输入字节与删除回收给候选打分"]
    N0 --> N1
    N2["后台读旧段并写新段"]
    N1 --> N2
    N3["读者切换后释放旧文件"]
    N2 --> N3
    N2 -- "合并队列或磁盘压力" --> F0["按配置节流并检查写入积压"]

验证

构造 4 个不同大小、删除比例各异的段,解释哪些集合会被打分。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图