本卷阅读合同
从列存与真实编码进入 parts、同步/异步确认、向量化、分片与 JOIN、预聚合、索引、复制和迁移。区分模型算术、固定版本原生结果与未测工程能力。
固定 ClickHouse 24.8.14.39:单节点脚本覆盖插入、索引计划、mutation、Projection 和字典重载;独立四分片/单 Keeper 夹具验证 JOIN、DDL 部分失败、离线重导与两副本暂停追齐。数据使用 tmpfs,不证明断电、Keeper 多数派、Kafka 原子提交、外部源或 TPC-H。
机制路线
flowchart LR
A["数据与访问合同"] --> B["表示与执行"] --> C["写入/事务边界"] --> D["分布式与恢复"] --> E["诊断与可复现实验"]
目录图表示学习路线,不代表所有系统都沿一条运行时流水线。每章正文首节提供机制图,其他节有共享图入口;复杂边界另有时序与故障分支。
章节导航
| 小节 | 本节问题 |
|---|---|
| 1.1 OLAP 工作负载:同一查询的读取账本 | OLAP 常以扫描、聚合、连接与即席分析为核心,OLTP 常以短事务点查与更新为核心,但两者不是按引擎名称划分的绝对集合。 |
| 1.2 批量数仓与实时分析:延迟预算和重放 | T+1、秒级或亚秒级是业务可见性目标,不是仅靠换一个存储引擎就能保证的指标。 |
| 1.3 列式分析数据库:存储与执行各自的职责 | 列存将同类值集中编码,执行器对列批进行过滤与聚合;MergeTree 又组织不可变 parts、排序、稀疏索引与后台合并。 |
| 2.1 行存、列存与列裁剪:读到哪些字节 | 行式将一行字段相邻布局,列式将一列的值集中存储;真实读写单位仍是页和压缩块,不是一个抽象单元。 |
| 2.2 RLE、字典、delta 与通用压缩 | 编码先利用值分布降低表示成本,通用压缩再处理字节流;排序、数据类型和块边界都会影响收益。 |
| 2.3 排序与压缩:收益必须按同一列集测量 | 排序把相近值聚到同一片连续区域,可能延长游程并改善 delta 或压缩器匹配;收益依赖排序键前缀、联合分布与编码。 |
| 3.1 排序键、主键与稀疏索引 | MergeTree ORDER BY 定义 part 内排序,PRIMARY KEY 定义稀疏主索引表达式;主键可以是排序键的前缀,默认省略时通常与排序键一致。 |
| 3.2 granule、mark、压缩块与跳数索引 | granule 是索引与读取的重要逻辑粒度,mark 为数据流提供到压缩文件和块内位置的定位信息;压缩块不是 granule 的同义词。 |
| 3.3 索引选型:看块内分布与实际成本 | minmax 适合块范围有区分度的谓词,Bloom 适合某值在许多索引块中确实不存在的等值/IN 查询;低基数并不自动有利,若每块都含所有低基数值,几乎无法跳过。 |
| 4.1 MergeTree 数据组织:part 是文件集合 | 同步插入会经过解析、block 形成、按分区拆分、排序、编码与 part 发布。 |
| 4.2 分区、后台合并与旧 part 生命周期 | PARTITION BY 把数据按表达式划分为逻辑分区,part 名称和文件路径编码相应标识;它不必表现成每分区一个目录。 |
| 4.3 mutation、轻量删除与版本去重 | ALTER TABLE UPDATE/DELETE mutation 通过重写受影响数据生成新 part,不能将 ALTER DELETE 通称“额外生成一个墓碑 part”。 |
| 5.1 同步 INSERT:part 发布与持久化边界 | 普通 MergeTree 同步 INSERT 主要走解析、block 处理、分区/排序/编码、写 part 与发布可见性路径,不能直接写成默认 LSM 的 WAL→memtable→flush。 |
| 5.2 异步 INSERT:缓冲、flush 和客户端返回点 | async_insert=1 将符合相同查询形态和设置的数据聚合进内存缓冲;触发条件与版本设置有关。 |
| 5.3 重试、块去重与 Kafka 位点的边界 | 插入块去重依赖表引擎、相关设置、块内容/顺序、token、窗口与物化视图链路。 |
| 6.1 向量化批执行:接口粒度与工作集 | 向量化将算子接口从单行改成批数据/列数组,减少分发开销并改善局部性;批大小由引擎、算子和配置决定。 |
| 6.2 SIMD:数据布局、尾部与归约 | AVX2 的 256 位寄存器可容纳八个 32 位整数,但“1024/8=128”只算向量主体处理次数,不是完整求和指令数。 |
| 6.3 过滤、聚合、连接的批接口 | 过滤结果可表示为选择向量、位掩码或紧凑输出,后续算子必须使用同样的行位置语义。 |
| 7.1 Distributed 表:分片路由、队列与副本 | Distributed 充当查询与写入分发层,本地表真正保存分片数据;异步发送模式还可能在发起端持有待发送文件,因此“不存数据”不等于没有本地持久队列。 |
| 7.2 ON CLUSTER:分布式 DDL 队列与部分失败 | ON CLUSTER 将 DDL 作为分布式任务在各主机执行。 |
| 7.3 数据本地性:搬部分状态还是搬原始行 | 协调者把能安全下推的算子送到持有分片数据的节点执行,回传可能是过滤行或聚合状态。 |
| 8.1 两阶段聚合:可合并状态与全局归约 | 分片扫描后先按组产生部分状态,协调者或后续归约阶段再合并。 |
| 8.2 普通 JOIN 与 GLOBAL JOIN:计算位置和广播份数 | 普通分布式 JOIN 的子查询由各远端分别执行,右侧若是本地表,语义依赖数据是否正确共置;若再次读 Distributed 表,还受 distributed_product_mode 与重复分发影响。 |
| 8.3 下推与 Top-N:先证明等价再减流量 | 过滤和列裁剪在保证语义时可下推,聚合可用状态分解;任意子查询、去重或 LIMIT 不能不加条件地独立放到分片。 |
| 9.1 增量物化视图:插入 block 触发 | 增量物化视图处理进入源表的插入 block,并将转换结果写到目标表;block 与落盘 part 不是一一对应关系。 |
| 9.2 Projection:表内部组织与优化器选择 | 24.8 的 Projection 可为表内数据提供不同排序或预聚合布局,和独立目标表的增量物化视图不同。 |
| 9.3 预聚合表:粒度、维度和可合并性 | 预聚合是否能回答查询,需要同时检查分组维度、过滤列、时间边界与状态可合并性。 |
| 10.1 分区裁剪、主索引与 minmax:多级候选集 | 分区裁剪按分区表达式及谓词排除 parts,主索引按排序相关键缩小 granule,附加 minmax 对索引块给出范围摘要。 |
| 10.2 Bloom 索引:假阳性概率不是确定上限 | Bloom 位数组用多个哈希位置表示集合,插入值不应被错误判成不存在;不存在的值可能假阳性,读回后仍需执行真实谓词。 |
| 10.3 索引成本:行命中率与块命中率分开 | 建索引的收益是省下的数据读取和计算,代价是索引扫描、写入计算、存储及可能的缓存竞争。 |
| 11.1 外部字典:layout、刷新和原子替换 | 字典 source 定义数据来源,layout 定义 full-memory、cache、direct 等访问形态。 |
| 11.2 MySQL、JDBC 与表函数:下推范围和写路径 | MySQL 引擎和 mysql() 表函数可用于 SELECT 与 INSERT,不能概括为所有外部表函数只读。 |
| 11.3 联邦查询与同步:快照、删除和吞吐单位 | 联邦查询实时访问多个数据源,导入/增量同步则把外部数据复制到本地;两种路径的数据新鲜度、故障与事务边界不同。 |
| 12.1 ReplicatedMergeTree:数据副本与协调元数据 | 每个副本保存本地 parts,Keeper/ZooKeeper 保存协调元数据、共享复制任务等,不是把全部列数据存进共识日志。 |
| 12.2 Quorum 写与写后读:配置条件要明确 | insert_quorum 指定等待的确认副本数;0、显式数值或 auto 具有不同含义,不能一概要求任何配置都大于副本数的一半。 |
| 12.3 复制诊断与故障恢复:队列不等于延迟秒数 | system.replicas 的 absolute_delay 是秒;queue_size、inserts_in_queue、log_pointer、log_max_index 又是不同进度指标,不能用两个日志序号相减来冒充时间延迟。 |
| 13.1 TTL 与冷热分层:条件满足和任务执行分开 | TTL TO VOLUME/TO DISK 根据数据生命周期和 part 条件触发后台移动,执行时间受调度与配置影响。 |
| 13.2 扩缩容与历史重分布:显式迁移协议 | 改变 Distributed 集群拓扑不会自动把历史数据均匀搬到新分片;24.8.14.39 没有正文旧版所写的 SYSTEM RESHARD 命令。 |
| 13.3 成本账本:第一年、复制数与扫描宽度 | 存储成本按物理字节、介质单价、时长、复制数及请求费用计算。 |
| 14.1 EXPLAIN 与 PIPELINE:计划树和执行流 | EXPLAIN 展示计划,PIPELINE 展示 processor 及流连接;树上的打印方向并不普遍就是从上到下执行顺序。 |
| 14.2 query_log:记录实际扫描和耗时 | system.query_log 的时长字段是 query_duration_ms,不是 system.processes 中常见的 elapsed。 |
| 14.3 TPC-H:原查询、数据规模与调优证据 | TPC-H 是包含 8 张表、22 个查询及相应规则的决策支持基准。 |
| 15.1 实时数仓:采集到查询的确认边界 | Kafka、流处理、ClickHouse 与 BI 形成端到端数据链路,每层都有自己的提交/可见点。 |
| 15.2 十二卷主线:版本与边界如何衔接 | 计算、存储、事件流、检索、图与 OLAP 各回答不同问题:文件/快照标识输入,执行引擎产生计算结果,共识保护元数据,复制决定确认,refresh 与插入发布定义读取可见性。 |
| 15.3 自研分析引擎:可执行骨架与工程缺口 | 一个可教学骨架至少包含真实列编码/解码、不可变 part、分区内合并、谓词与聚合、状态合并及正确发布边界。 |
实验入口与验收
下载源码 ,在解包目录按 README 运行 Java 8 runner,当前预期 198 条断言通过。数字只统计所实现模型,不代表产品协议全部验证。原生脚本仅将实际执行并有断言的场景记为实测,其余以 README 的能力边界为准。
系列导读与实验版本 · 全系列书架 · 卷十三 向量数据库与 AI 检索内核
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。