《大规模分布式计算深入解析》2.2 RLE、字典、delta 与通用压缩

编码先利用值分布降低表示成本,通用压缩再处理字节流;排序、数据类型和块边界都会影响收益。ZSTD 不是只做一个抽象熵编码步骤,字典码也不是仅在游程边界记录,几种算法不能混成同一字节公式。

RLE、字典、delta 与通用压缩

编码先利用值分布降低表示成本,通用压缩再处理字节流;排序、数据类型和块边界都会影响收益。ZSTD 不是只做一个抽象熵编码步骤,字典码也不是仅在游程边界记录,几种算法不能混成同一字节公式。

机制与确认边界

实验 RLE 明确使用 UInt8 值加 UInt16 正计数,每段 3B。0 连续 900 次、1 连续 100 次形成两段,共 6B,相对原始 1000B 的 UInt8 字节流约 166.7 倍;900 放不进一个字节。超过 65535 的长游程必须拆段,解码后逐元素还原。

实现与验证范围

字典编码还要加字典内容、ID 宽度、空值与元数据;delta 保留首值并编码相邻差值,需要规定整数溢出和负差。实验测试空列、长游程和往返一致性,字节数取实际 byte[] 长度,不再只断言一个 groups×2 的假定公式。

本章共享图解见 2.1 的机制图 ,其中的状态与确认点需和本节一起阅读。

复现与资料

下载本卷实验包 ,按 README 运行 Java 8 lab.RunAll。单节点原生运行 clickhouse-probe.sh,多分片与复制实验运行 clickhouse_cluster.py;每个脚本仅把实际执行并断言的场景记为实测。外部源、真实 Kafka、TTL 介质、TPC-H 和未测版本的功能不包含在这些结果中。

卷十二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路