以下数字为教学示例,不构成对任何真实模型或供应商性能的承诺。
Transformer 的深度不是简单堆叠:每一层都在一个“残差流”上读写。残差连接让原始信息跨层直达,归一化让每层输入保持可控尺度。少了残差,深层信号会衰减;少了归一化,残差会把范数越加越大。两者组合才让几十层甚至上百层的训练成为可能。
这一节用一个小实验观察范数随深度的变化,然后讨论三个架构问题:深度为什么不是免费的、归一化位置为什么重要、量化和低精度如何与残差流相互作用。
残差流与归一化
两种常见结构:
Post-LN(原始 Transformer,Vaswani et al. 2017):
$$
x_{l+1} = \text{LayerNorm}(x_l + F(x_l))
$$
Pre-LN(后续大量模型采用):
$$
x_{l+1} = x_l + F(\text{LayerNorm}(x_l))
$$
差别在于归一化放在残差加法之前还是之后。Post-LN 在每层输出后归一化,训练早期可能不稳定;Pre-LN 让残差路径保持“干净”,梯度更容易直达,但残差流的范数会随深度增长,通常需要在最后加一个归一化。
LayerNorm 本身做两件事:减均值、除标准差。它把每层输入的尺度拉回可控范围,但也丢弃了原始范数信息。残差连接保留了一条不经归一化的路径,让模型可以同时使用“归一化后的特征”和“原始尺度的信息”。这是两者必须组合的原因。
最小实验:范数随深度怎么变
下面的实验模拟四种组合:归一化 + 残差、只有残差、只有归一化、两者都没有。每层做一次线性变换,观察 1、2、4、8、16 层后的向量范数。
# file: agp_lab/residual.py | write
# tier: 2
# verify: python3 -m unittest tests.test_residual
"""残差连接与归一化对深层信息流的影响。"""
from __future__ import annotations
import math
def layer_norm(vector: list[float], eps: float = 1e-5) -> list[float]:
if eps <= 0:
raise ValueError("eps 必须为正")
mean = sum(vector) / len(vector)
variance = sum((value - mean) ** 2 for value in vector) / len(vector)
denominator = math.sqrt(variance + eps)
return [(value - mean) / denominator for value in vector]
def norm(vector: list[float]) -> float:
return math.sqrt(sum(value * value for value in vector))
def block(
vector: list[float],
weight: float = 0.9,
use_norm: bool = True,
use_residual: bool = True,
) -> list[float]:
hidden = layer_norm(vector) if use_norm else list(vector)
transformed = [weight * value for value in hidden]
if use_residual:
return [left + right for left, right in zip(transformed, vector)]
return transformed
def run(
depth: int,
use_norm: bool = True,
use_residual: bool = True,
start: tuple[float, ...] = (1.0, 2.0, 3.0),
) -> list[float]:
vector = list(start)
for _ in range(depth):
vector = block(vector, use_norm=use_norm, use_residual=use_residual)
return vector
if __name__ == "__main__":
modes = (
("norm+residual", True, True),
("residual", False, True),
("norm", True, False),
("plain", False, False),
)
print("depth " + " ".join(f"{name:>13}" for name, _, _ in modes))
for depth in (1, 2, 4, 8, 16):
cells = " ".join(
f"{norm(run(depth, use_norm, use_residual)):>13.3f}"
for _, use_norm, use_residual in modes
)
print(f"{depth:<7}{cells}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.residual
输出:
depth norm+residual residual norm plain
1 4.565 7.109 1.559 3.367
2 5.704 13.507 1.559 3.031
4 8.397 48.762 1.559 2.455
8 14.311 635.467 1.559 1.611
16 26.582 107924.895 1.559 0.693
四列对应四种行为:
- 只有残差:范数指数增长,16 层后超过 10 万。没有归一化,残差加法会不断放大尺度,深层数值很快失去精度。
- 只有归一化:范数稳定在 1.559,但信号也在每层被重新缩放;没有残差,原始信息无法跨层保留。
- 两者都没有:范数指数衰减,16 层后只剩 0.693,深层几乎收不到信号。
- 归一化 + 残差:范数随深度增长,但增长是可控的(16 层 26.582),既保留了信号,又没有爆炸。
这个实验是教学简化:真实模型的权重、激活函数和注意力结构更复杂,范数行为也更复杂。但它说明了一个基本事实:残差和归一化解决的是两个不同的问题,不能互相替代。 残差解决“信号能不能传下去”,归一化解决“尺度会不会失控”。
深层信息流的边界
四个常见误解:
| 误解 | 实际 | 架构后果 |
|---|---|---|
| 层数越多能力越强 | 深度有边际收益,也带来延迟、显存和训练难度 | 不能把深度当免费扩展 |
| 归一化越强越稳定 | 归一化丢弃范数信息,过度归一化会损失幅度线索 | 需要残差保留原始尺度 |
| Pre-LN 一定优于 Post-LN | Pre-LN 训练更稳,但残差范数随深度增长 | 需要最终归一化与精度评估 |
| 低精度只影响速度 | 残差流范数增长会放大量化误差 | 量化方案要在深层模型上验证 |
第一条对 Agent 架构尤其重要。模型深度直接影响单次推理的延迟和显存;如果业务只需要 W1 的短问答,用一个过深的模型可能只是增加成本。能力卡应该同时记录“能力”和“代价”,而不是只比榜单分数。
第四条在量化部署里经常被忽略。残差流的范数随深度增长,意味着深层的激活值范围更大;低精度表示(FP8、INT8)在深层可能引入更大的相对误差。量化不是“换个数据类型”那么简单,它需要在小模型上验证、在目标深度上评测,并保留回退路径。
架构含义
残差与归一化对 Agent 架构有四个直接约束:
- 深度是成本项。 层数影响 TTFT、TPOT 和显存;选型时要把深度和负载预算一起看,而不是只看能力。
- 归一化位置是版本项。 Pre-LN/Post-LN、RMSNorm/LayerNorm、最终归一化,都会改变行为;升级等于换模型,需要回归。
- 量化要测深层。 残差范数增长会放大低精度误差;量化方案必须在目标深度和任务上评测。
- 激活显存要按深度估算。 训练和长上下文推理的激活内存随层数线性增长;深度不是免费的显存开销。
这些约束不需要在应用层直接实现,但会影响模型选型和部署架构。比如同一个能力水平下,较浅的模型可能 TTFT 更低;较深的模型可能在某些推理任务上更强。架构评审要问的是“这个深度带来的收益,是否值得它增加的延迟和显存”,而不是“层数多是不是更先进”。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 深度有成本账 | 层数与 TTFT/TPOT/显存一起评估 | 只看能力榜单 |
| 归一化有版本 | 结构、位置、epsilon 可追溯 | 升级不回归 |
| 量化有深层验证 | 在目标深度和任务上测误差 | 只在小模型上验证 |
| 数值有监控 | 激活范数、溢出、NaN 有告警 | 只看最终输出 |
| 回退路径 | 低精度失败可回退到高精度 | 量化后无退路 |
这些判据里,“数值有监控”最容易被省略。残差范数爆炸不会总是表现为崩溃;它可能表现为输出质量下降、长尾错误增加。没有激活级监控,团队只能看到“最近效果变差了”,无法定位到数值问题。
Pre-LN 与 Post-LN 的训练差异
| 结构 | 归一化位置 | 优点 | 风险 |
|---|---|---|---|
| Post-LN | 残差加法之后 | 每层输出尺度稳定 | 深层训练早期不稳定 |
| Pre-LN | 残差加法之前 | 梯度路径短,训练更稳 | 残差范数随深度增长 |
| Pre-LN + 最终归一化 | 末尾再加一次 | 兼顾稳定与输出尺度 | 多一次计算 |
结构选择不是“哪个更新”,而是“用哪种不稳定性换哪种不稳定性”。Post-LN 把不稳定性放在训练早期,Pre-LN 把范数增长放到深层;两者都需要监控和调参。
深度选型的一个算例
假设两个模型能力相近,一个 32 层,一个 64 层。64 层的潜在收益是更强的组合能力,代价是:
- 单次前向的计算量约翻倍,TTFT 上升;
- 激活显存随层数线性增长;
- 量化误差在更深残差流上可能放大;
- 训练和推理的调优成本更高。
如果业务是 W1 的短问答,32 层可能已经足够;如果是 W2 的复杂代码修复,64 层的能力收益可能值得延迟成本。深度选型应该由负载和评测决定,而不是由“更大更新”决定。
量化与残差流
低精度量化的误差不是均匀分布的。残差流的范数随深度增长,深层的激活值范围更大;同样的量化步长,在深层可能产生更大的相对误差。实践中要关注:
| 检查项 | 为什么 |
|---|---|
| 逐层激活范围 | 找出异常放大的层 |
| 输出质量回归 | 量化后任务成功率是否下降 |
| 长尾样本 | 错误是否集中在特定输入 |
| 回退路径 | 低精度失败能否切回高精度 |
量化不是“换个数据类型”,而是改变数值行为;它需要和残差结构一起评估。
残差流的可解释性
残差连接让每一层只学习“增量”,而不是“完整表示”。这带来一个副作用:中间层的激活很难单独解释,因为最终表示是所有层增量的累加。做可解释性分析时,不能只看某一层的输出,要看增量在层间的累积;消融一层的影响也可能被后续层补偿。对架构评审来说,这意味着“某层负责某能力”的说法通常过于简化。
归一化与批统计
LayerNorm 在特征维度上归一化,不依赖 batch,因此推理时行为稳定;BatchNorm 依赖 batch 统计,在变长序列和小 batch 下容易不稳定。Transformer 普遍使用 LayerNorm 或其变体(RMSNorm),一个现实原因是 Agent 推理的 batch 形状变化很大:有时单请求,有时批量并发。归一化方式必须在这种波动下保持数值稳定。
一个工程检查表
| 检查 | 目的 |
|---|---|
| 逐层记录激活范数 | 发现爆炸或衰减 |
| 对比训练/推理的归一化行为 | 排除 batch 依赖 |
| 量化后跑任务级回归 | 确认数值误差可接受 |
| 保留高精度回退路径 | 低精度失败时可切换 |
这些检查不需要重新训练模型,但需要在部署前做一次。残差和归一化的问题通常不会让服务崩溃,只会让输出质量悄悄下降;没有基线,就很难判断某次升级是否引入了数值退化。
小结
- 残差连接让信息跨层直达,归一化让每层输入保持可控尺度;两者解决不同问题,不能互相替代。
- 只有残差会让范数指数增长;只有归一化会让信号逐层被缩放;两者组合才能让深层训练稳定。
- Pre-LN 训练更稳,但残差范数随深度增长,通常需要最终归一化;Post-LN 是另一种权衡。
- 深度是成本项:层数影响延迟、显存和训练难度,不能把“更深”当免费的能力提升。
- 低精度量化会与残差范数增长相互作用;量化方案必须在目标深度和任务上验证,并保留回退路径。
- 数值稳定性需要激活级监控,不能只看最终输出。
阅读导航:上一节:3.2 位置编码与长度外推 · 下一节:4.1 Prefill/Decode:TTFT 与 TPOT 的来源 。
常见错误与边界
- 把深度当免费能力。 层数增加会提高延迟和显存;选型要把能力和成本一起评估。
- 用归一化替代残差。 归一化控制尺度,但不能保留跨层信号;两者职责不同。
- 忽略 Pre-LN 的范数增长。 Pre-LN 训练更稳,但残差流范数随深度增长,通常需要最终归一化。
- 低精度只在浅层验证。 残差范数增长会放大量化误差;量化必须在目标深度和任务上评测。
- 没有激活级监控。 范数爆炸可能只表现为质量下降;没有监控就无法归因。
- 升级归一化结构不做回归。 结构、位置、epsilon 变化都会改变行为,等同于换模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。