《大规模分布式计算深入解析·实时 OLAP 与列存分析引擎内核》 · 目录与学习路径(45 篇)

从列存与真实编码进入 parts、同步/异步确认、向量化、分片与 JOIN、预聚合、索引、复制和迁移。区分模型算术、固定版本原生结果与未测工程能力。

本卷阅读合同

从列存与真实编码进入 parts、同步/异步确认、向量化、分片与 JOIN、预聚合、索引、复制和迁移。区分模型算术、固定版本原生结果与未测工程能力。

固定 ClickHouse 24.8.14.39:单节点脚本覆盖插入、索引计划、mutation、Projection 和字典重载;独立四分片/单 Keeper 夹具验证 JOIN、DDL 部分失败、离线重导与两副本暂停追齐。数据使用 tmpfs,不证明断电、Keeper 多数派、Kafka 原子提交、外部源或 TPC-H。

机制路线

flowchart LR
    A["数据与访问合同"] --> B["表示与执行"] --> C["写入/事务边界"] --> D["分布式与恢复"] --> E["诊断与可复现实验"]

目录图表示学习路线,不代表所有系统都沿一条运行时流水线。每章正文首节提供机制图,其他节有共享图入口;复杂边界另有时序与故障分支。

章节导航

小节本节问题
1.1 OLAP 工作负载:同一查询的读取账本OLAP 常以扫描、聚合、连接与即席分析为核心,OLTP 常以短事务点查与更新为核心,但两者不是按引擎名称划分的绝对集合。
1.2 批量数仓与实时分析:延迟预算和重放T+1、秒级或亚秒级是业务可见性目标,不是仅靠换一个存储引擎就能保证的指标。
1.3 列式分析数据库:存储与执行各自的职责列存将同类值集中编码,执行器对列批进行过滤与聚合;MergeTree 又组织不可变 parts、排序、稀疏索引与后台合并。
2.1 行存、列存与列裁剪:读到哪些字节行式将一行字段相邻布局,列式将一列的值集中存储;真实读写单位仍是页和压缩块,不是一个抽象单元。
2.2 RLE、字典、delta 与通用压缩编码先利用值分布降低表示成本,通用压缩再处理字节流;排序、数据类型和块边界都会影响收益。
2.3 排序与压缩:收益必须按同一列集测量排序把相近值聚到同一片连续区域,可能延长游程并改善 delta 或压缩器匹配;收益依赖排序键前缀、联合分布与编码。
3.1 排序键、主键与稀疏索引MergeTree ORDER BY 定义 part 内排序,PRIMARY KEY 定义稀疏主索引表达式;主键可以是排序键的前缀,默认省略时通常与排序键一致。
3.2 granule、mark、压缩块与跳数索引granule 是索引与读取的重要逻辑粒度,mark 为数据流提供到压缩文件和块内位置的定位信息;压缩块不是 granule 的同义词。
3.3 索引选型:看块内分布与实际成本minmax 适合块范围有区分度的谓词,Bloom 适合某值在许多索引块中确实不存在的等值/IN 查询;低基数并不自动有利,若每块都含所有低基数值,几乎无法跳过。
4.1 MergeTree 数据组织:part 是文件集合同步插入会经过解析、block 形成、按分区拆分、排序、编码与 part 发布。
4.2 分区、后台合并与旧 part 生命周期PARTITION BY 把数据按表达式划分为逻辑分区,part 名称和文件路径编码相应标识;它不必表现成每分区一个目录。
4.3 mutation、轻量删除与版本去重ALTER TABLE UPDATE/DELETE mutation 通过重写受影响数据生成新 part,不能将 ALTER DELETE 通称“额外生成一个墓碑 part”。
5.1 同步 INSERT:part 发布与持久化边界普通 MergeTree 同步 INSERT 主要走解析、block 处理、分区/排序/编码、写 part 与发布可见性路径,不能直接写成默认 LSM 的 WAL→memtable→flush。
5.2 异步 INSERT:缓冲、flush 和客户端返回点async_insert=1 将符合相同查询形态和设置的数据聚合进内存缓冲;触发条件与版本设置有关。
5.3 重试、块去重与 Kafka 位点的边界插入块去重依赖表引擎、相关设置、块内容/顺序、token、窗口与物化视图链路。
6.1 向量化批执行:接口粒度与工作集向量化将算子接口从单行改成批数据/列数组,减少分发开销并改善局部性;批大小由引擎、算子和配置决定。
6.2 SIMD:数据布局、尾部与归约AVX2 的 256 位寄存器可容纳八个 32 位整数,但“1024/8=128”只算向量主体处理次数,不是完整求和指令数。
6.3 过滤、聚合、连接的批接口过滤结果可表示为选择向量、位掩码或紧凑输出,后续算子必须使用同样的行位置语义。
7.1 Distributed 表:分片路由、队列与副本Distributed 充当查询与写入分发层,本地表真正保存分片数据;异步发送模式还可能在发起端持有待发送文件,因此“不存数据”不等于没有本地持久队列。
7.2 ON CLUSTER:分布式 DDL 队列与部分失败ON CLUSTER 将 DDL 作为分布式任务在各主机执行。
7.3 数据本地性:搬部分状态还是搬原始行协调者把能安全下推的算子送到持有分片数据的节点执行,回传可能是过滤行或聚合状态。
8.1 两阶段聚合:可合并状态与全局归约分片扫描后先按组产生部分状态,协调者或后续归约阶段再合并。
8.2 普通 JOIN 与 GLOBAL JOIN:计算位置和广播份数普通分布式 JOIN 的子查询由各远端分别执行,右侧若是本地表,语义依赖数据是否正确共置;若再次读 Distributed 表,还受 distributed_product_mode 与重复分发影响。
8.3 下推与 Top-N:先证明等价再减流量过滤和列裁剪在保证语义时可下推,聚合可用状态分解;任意子查询、去重或 LIMIT 不能不加条件地独立放到分片。
9.1 增量物化视图:插入 block 触发增量物化视图处理进入源表的插入 block,并将转换结果写到目标表;block 与落盘 part 不是一一对应关系。
9.2 Projection:表内部组织与优化器选择24.8 的 Projection 可为表内数据提供不同排序或预聚合布局,和独立目标表的增量物化视图不同。
9.3 预聚合表:粒度、维度和可合并性预聚合是否能回答查询,需要同时检查分组维度、过滤列、时间边界与状态可合并性。
10.1 分区裁剪、主索引与 minmax:多级候选集分区裁剪按分区表达式及谓词排除 parts,主索引按排序相关键缩小 granule,附加 minmax 对索引块给出范围摘要。
10.2 Bloom 索引:假阳性概率不是确定上限Bloom 位数组用多个哈希位置表示集合,插入值不应被错误判成不存在;不存在的值可能假阳性,读回后仍需执行真实谓词。
10.3 索引成本:行命中率与块命中率分开建索引的收益是省下的数据读取和计算,代价是索引扫描、写入计算、存储及可能的缓存竞争。
11.1 外部字典:layout、刷新和原子替换字典 source 定义数据来源,layout 定义 full-memory、cache、direct 等访问形态。
11.2 MySQL、JDBC 与表函数:下推范围和写路径MySQL 引擎和 mysql() 表函数可用于 SELECT 与 INSERT,不能概括为所有外部表函数只读。
11.3 联邦查询与同步:快照、删除和吞吐单位联邦查询实时访问多个数据源,导入/增量同步则把外部数据复制到本地;两种路径的数据新鲜度、故障与事务边界不同。
12.1 ReplicatedMergeTree:数据副本与协调元数据每个副本保存本地 parts,Keeper/ZooKeeper 保存协调元数据、共享复制任务等,不是把全部列数据存进共识日志。
12.2 Quorum 写与写后读:配置条件要明确insert_quorum 指定等待的确认副本数;0、显式数值或 auto 具有不同含义,不能一概要求任何配置都大于副本数的一半。
12.3 复制诊断与故障恢复:队列不等于延迟秒数system.replicas 的 absolute_delay 是秒;queue_size、inserts_in_queue、log_pointer、log_max_index 又是不同进度指标,不能用两个日志序号相减来冒充时间延迟。
13.1 TTL 与冷热分层:条件满足和任务执行分开TTL TO VOLUME/TO DISK 根据数据生命周期和 part 条件触发后台移动,执行时间受调度与配置影响。
13.2 扩缩容与历史重分布:显式迁移协议改变 Distributed 集群拓扑不会自动把历史数据均匀搬到新分片;24.8.14.39 没有正文旧版所写的 SYSTEM RESHARD 命令。
13.3 成本账本:第一年、复制数与扫描宽度存储成本按物理字节、介质单价、时长、复制数及请求费用计算。
14.1 EXPLAIN 与 PIPELINE:计划树和执行流EXPLAIN 展示计划,PIPELINE 展示 processor 及流连接;树上的打印方向并不普遍就是从上到下执行顺序。
14.2 query_log:记录实际扫描和耗时system.query_log 的时长字段是 query_duration_ms,不是 system.processes 中常见的 elapsed。
14.3 TPC-H:原查询、数据规模与调优证据TPC-H 是包含 8 张表、22 个查询及相应规则的决策支持基准。
15.1 实时数仓:采集到查询的确认边界Kafka、流处理、ClickHouse 与 BI 形成端到端数据链路,每层都有自己的提交/可见点。
15.2 十二卷主线:版本与边界如何衔接计算、存储、事件流、检索、图与 OLAP 各回答不同问题:文件/快照标识输入,执行引擎产生计算结果,共识保护元数据,复制决定确认,refresh 与插入发布定义读取可见性。
15.3 自研分析引擎:可执行骨架与工程缺口一个可教学骨架至少包含真实列编码/解码、不可变 part、分区内合并、谓词与聚合、状态合并及正确发布边界。

实验入口与验收

下载源码 ,在解包目录按 README 运行 Java 8 runner,当前预期 198 条断言通过。数字只统计所实现模型,不代表产品协议全部验证。原生脚本仅将实际执行并有断言的场景记为实测,其余以 README 的能力边界为准。

系列导读与实验版本 · 全系列书架 · 卷十三 向量数据库与 AI 检索内核

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路