12.1 Snowflake:微分区与虚拟仓库
Snowflake 把存储与计算拆成两个独立计费的平面:存储按数据量,计算按虚拟仓库的运行时长。这个拆分让两个原本绑在一起的量各自可调,也让一笔账变得必须算清楚——仓库开大 128 倍,钱就贵 128 倍,而查询未必快 128 倍。
本节算两笔账:切成多少个微分区(1GiB 按 16MiB 切是 64 个),仓库开多大(4XL 是 XS 的 128 倍 credits)。两笔账分别对应裁剪效率与计算成本。
微分区:不可变、列存、自动聚簇
微分区是 Snowflake 表的物理切分单位:数据写入时自动切成固定大小的块,每块内部按列存放,块一旦写完就不再修改。本节按 16MiB 的口径建模(lab 用例 97 的参数),实际块大小由产品实现决定;但「不可变 + 列存 + 每块带统计」这三条性质与粒度无关,下面的推导换成任何粒度都成立。
| 属性 | 取值或行为 | 带来的能力 |
|---|---|---|
| 大小 | 16MiB(本节模型口径) | 裁剪粒度与元数据开销的折中 |
| 不可变 | 写后不改,更新产生新分区 | 元数据可精确记录每块的统计 |
| 列存 | 块内按列组织 | 只读需要的列 |
| 统计 | 每块记录 min/max 等 | 查询前裁剪 |
| 聚簇 | 按聚簇键排序,可自动维护 | 范围查询少扫块 |
不可变是全部设计的支点:因为块不会原地改写,每块的 min/max、行数、空值数这些统计一旦写好就永远有效,查询可以直接信任它们做裁剪。如果块可以原地更新,统计就得随每次写入失效,裁剪也就无从谈起。
更新的实现是「标记旧块失效 + 写新块」,所以一次更新不会改动整个表,只影响包含目标行的那些微分区。这也是它适合批量导入、不适合高频单行更新的原因。
用例 97:1GiB ÷ 16MiB = 64 个微分区
表大小 = 1GiB = 1,024MiB
微分区大小 = 16MiB
分区数 = 1,024 ÷ 16 = 64 个
| 参数 | 计算 | 结果 |
|---|---|---|
| 表大小 | — | 1GiB |
| 微分区大小 | — | 16MiB |
| 分区数 | 1,024 ÷ 16 | 64(用例 97) |
| 每分区平均行数 | 取决于行宽 | 不固定 |
64 这个数字说明的是粒度,不是性能:它告诉你这张表最多能被裁成 64 份,一次点查如果命中一个分区,理论上只读 1/64 的数据。但能不能真的只读一份,取决于聚簇键与查询谓词是否对齐——分区裁剪看的是统计,不是意愿。
16MiB 粒度怎样影响裁剪
| 表大小 | 微分区数 | 裁剪的最细粒度 |
|---|---|---|
| 1GiB | 64(用例 97) | 16MiB |
| 10GiB | 640(公式推导) | 16MiB |
| 100GiB | 6,400(公式推导) | 16MiB |
| 1TiB | 65,536(公式推导) | 16MiB |
粒度是常数,比例才是变量:表越大,16MiB 占全表的比例越小,裁剪的潜在收益越高。1TiB 的表命中一个微分区,只读全表的 1/65536;1GiB 的表命中一个,读的是 1/64。
反过来,小表的裁剪收益有限:如果一张表只有几个微分区,统计的粒度粗到无法有效排除数据。微分区大小固定,意味着小表天然吃亏、大表天然受益,这也是为什么小表不值得为裁剪做复杂的聚簇设计。
| 粒度选择 | 裁剪精度 | 元数据开销 | 适用 |
|---|---|---|---|
| 更小(如 4MiB) | 高 | 高,分区数 ×4 | 高选择性点查 |
| 16MiB(默认) | 中 | 中 | 通用 |
| 更大 | 低 | 低 | 全表扫描为主 |
元数据随分区数线性增长
若每个微分区需要常数 c 字节的元数据(统计、路径、版本信息),那么总元数据就是「分区数 × c」:
| 表大小 | 分区数 | 元数据总量 |
|---|---|---|
| 1GiB | 64(用例 97) | 64c |
| 100GiB | 6,400(公式推导) | 6,400c |
| 1TiB | 65,536(公式推导) | 65,536c |
这张表用的是符号而不是具体字节数,因为 c 的值由实现决定,本节不给实测值。但比例关系是确定的:分区数翻倍,元数据翻倍。当分区数到了几万、几十万量级,元数据本身就成了一层需要认真对待的「小表」——查询规划要读它,裁剪要查它,它的规模直接决定规划阶段的开销。
这就是 16MiB 这个折中的由来:再小,裁剪更准但元数据膨胀;再大,元数据省了但每次都得读更多无用数据。没有一个对所有负载都最优的值,只有对某类负载更合适的值。
虚拟仓库:XS 到 4XL 的 credit 阶梯
虚拟仓库是计算资源的单位,规格每升一级,credits 每小时翻倍:
| 规格 | credits/小时 | 相对 XS |
|---|---|---|
| XS | 1 | 1 倍 |
| S | 2 | 2 倍 |
| M | 4 | 4 倍 |
| L | 8 | 8 倍 |
| XL | 16 | 16 倍 |
| 2XL | 32 | 32 倍 |
| 3XL | 64 | 64 倍 |
| 4XL | 128 | 128 倍(用例 98) |
这张阶梯是纯几何级数,没有折扣:4XL 的 credits 是 XS 的 128 倍,一分不少。所以仓库规格的选择不是「大一点更稳」,而是一次明确的成本承诺——开 4XL 跑一小时,账上就是 128 个 credit,不管查询有没有用满。
128 倍 credits 必须换 128 倍并行
仓库变大买到的唯一东西是并行度:更多节点、更多线程同时扫更多微分区。设某查询在 XS 上耗时 T 小时,在 4XL 上耗时 T/s(s 为加速比),两侧成本如下:
| 加速比 s | XS 成本(credit) | 4XL 成本(credit) | 倍数 |
|---|---|---|---|
| 128 | 1 × T | 128 × T/128 = T | 1.0(公式推导) |
| 64 | 1 × T | 128 × T/64 = 2T | 2.0(公式推导) |
| 32 | 1 × T | 128 × T/32 = 4T | 4.0(公式推导) |
| 16 | 1 × T | 128 × T/16 = 8T | 8.0(公式推导) |
倍数等于 128 ÷ s,这是这张表唯一的公式(公式推导)。加速比 128 时两者成本相等;加速比 64 时 4XL 贵一倍;加速比 16 时贵八倍。
这里的关键判断是:加速比几乎永远到不了 128。分区数、数据量、查询本身的串行段都会限制并行上限——1GiB 的表只有 64 个微分区,最多同时喂饱 64 份并行,开 4XL 有一半算力闲着。仓库规格不能超过查询能提供的并行度,否则多付的 credits 买的是空转。
什么查询值得上大仓库
| 查询形态 | 可并行度 | 是否值得大仓库 |
|---|---|---|
| 全表大扫描 + 聚合 | 高,随分区数增长 | 值得,接近线性 |
| 大表与大表 join | 高,但受 shuffle 限制 | 视倾斜情况,谨慎 |
| 小结果集点查 | 极低,命中一个分区 | 不值得,XS 足够 |
带 LIMIT 的探查 | 低,提前终止 | 不值得 |
| 单行更新/删除 | 低 | 不值得,且不适合微分区模型 |
判据可以写成一句:查询能被切成多少份并行,就开多大的仓库。切成 64 份的查询开 4XL,多出的 64 份并行没有数据可处理;切成上万份的大扫描开 XS,则是让资源成为瓶颈。
还有一笔隐性成本:大仓库的自动挂起与恢复更慢,因为要拉起更多节点。对间歇性查询,这部分时间也要算进总账,而不只是 credits。
存储与计算分开计费的含义
| 平面 | 计费依据 | 优化手段 |
|---|---|---|
| 存储 | 数据量(含时间旅行保留) | 归档、缩短保留期、减少重复副本 |
| 计算 | 仓库运行时长 × 规格 credits | 控制规格、自动挂起、减少扫描 |
| 云服务 | 按用量 | 通常占比小 |
两个平面可以独立优化,这是拆分的价值:数据留着不动不会持续烧计算费,计算停掉也不会丢数据。但两个平面也会互相影响——扫描的数据越多,计算跑得越久,最终仍然体现在 credits 上。所以「存储便宜所以多存点」这句话要加一个前提:多存的数据不会被频繁扫描。
聚簇键:让裁剪真的生效
微分区里的 min/max 统计是按聚簇键排序后才有效的。如果写入顺序随机,每块的值域会覆盖整个范围,统计就退化成「什么都能命中」:
| 聚簇键与谓词的关系 | 命中分区数 | 裁剪效果 |
|---|---|---|
| 对齐,范围查询 | 少数相邻分区 | 有效,接近理论下限 |
| 对齐,等值查询 | 一到数个分区 | 有效 |
| 不对齐,高基数随机谓词 | 近乎全部分区 | 无效 |
| 无聚簇键,写入顺序随机 | 不可预测 | 不稳定,可能全扫 |
裁剪的前提是「同一块内的值彼此接近」。聚簇键保证了这一点:按它排序后,相邻行落在同一块,块的 min/max 区间就窄,谓词能排除掉大部分块。没有聚簇键时,块内的值来自四面八方,区间宽得没有排除力。
自动聚簇是后台重写:发现某些块的区间变宽,就把数据重新组织。重写本身消耗计算资源,所以聚簇不是免费的——它用持续的维护成本换查询时的裁剪收益。对写入频繁而查询稀疏的表,这笔交换可能不划算。
三个常见误解
误解一:微分区越多,查询一定越快。 真相:微分区数决定裁剪的上限,但 1GiB 的表只有 64 个分区(用例 97),裁剪最细到 16MiB;分区数还会让元数据线性增长,规划阶段变重。
误解二:仓库开大一点总不会错,反正按秒计费。 真相:4XL 是 XS 的 128 倍 credits(用例 98),成本倍数等于 128 ÷ 加速比;加速比 16 时贵 8 倍,多付的钱买的是空转的算力。
误解三:存储与计算分开计费,所以存储可以随便用。 真相:存储费确实与计算解耦,但被频繁扫描的数据会转化为更长的仓库运行时间,最终仍计入 credits;两个平面只是在计费上分开,在成本上仍然相连。
一句话总结本节
Snowflake 用约 16MiB 的不可变微分区做裁剪单位,1GiB 的表切出 64 个分区,元数据随分区数线性增长;虚拟仓库从 XS 的 1 credit/h 到 4XL 的 128 credit/h,成本倍数等于 128 ÷ 加速比,只有并行加速比接近 128 时才不亏。所以仓库规格应当匹配查询能提供的并行度,而不是默认开大。
上游实现参照
本节 lab
在 bd-engine-lab 中验证微分区切分与虚拟仓库阶梯:
- 源码:
src/storage/Storage.java与src/storage/StorageSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 97 验证
microPartitions(1.0, 16.0) = 64,即 1GiB 按 16MiB 切分为 64 个微分区;用例 98 验证warehouseCredits("4XL") = 128且warehouseCredits("XS") = 1,即 4XL 是 XS 的 128 倍。 - 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:看到一张 1GiB 的表 → 按 16MiB 算出 64 个微分区 → 判断查询能切几份并行 → 再决定仓库规格,4XL 的 128 倍 credits 必须换来接近 128 倍的加速才划算。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。