混合精度

分布式训练实战：DDP、FSDP、ZeRO 与大规模训练工程

大模型训练离不开多卡分布式，本文系统讲解 DDP 数据并行原理与 AllReduce、混合精度训练（FP16/BF16）、梯度累积与梯度裁剪、ZeRO 分片（ZeRO-1/2/3）、FSDP 全分片数据并行、张量并行与流水线并行、checkpoint 与断点续训、以及分布式训练排错（NCCL 超时/OOM/收敛异常）的完整工程方法论。