《大规模分布式计算深入解析》2.3 排序与压缩:收益必须按同一列集测量

排序把相近值聚到同一片连续区域,可能延长游程并改善 delta 或压缩器匹配;收益依赖排序键前缀、联合分布与编码。排序不会改变逻辑值频率;不能用“数据熵降低”直接代替有条件的压缩解释。

排序与压缩:收益必须按同一列集测量

排序把相近值聚到同一片连续区域,可能延长游程并改善 delta 或压缩器匹配;收益依赖排序键前缀、联合分布与编码。排序不会改变逻辑值频率;不能用“数据熵降低”直接代替有条件的压缩解释。

机制与确认边界

对 1000 个 UInt8 三值数据,本包乱序恰有 1000 段,固定三字节 RLE 为 3000B,反而比原始 1000B 大;排序后三段为 9B。这个例子说明要选择编码,而不是证明所有列都应强制 RLE。真实引擎还有块头、标记及字典开销。

实现与验证范围

原探针 sort_low/sort_high 的 19057B 与 214024B 是整表 data_compressed_bytes,不能称 status 单列字节。新版记录同一输入、同一列类型、两个 ORDER BY 的整表统计;比值是该环境样本,写入顺序、压缩 codec 和合并状态必须一并保存。

本章共享图解见 2.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路