tag

检查点

共 4 篇文章。
全部文章GoTypeScript游戏开发小游戏独立开发者游戏设计Godot书稿RustPython性能优化游戏引擎PRDSaaS
ai

分布式训练实战:DDP、FSDP、ZeRO 与大规模训练工程

大模型训练离不开多卡分布式,本文系统讲解 DDP 数据并行原理与 AllReduce、混合精度训练(FP16/BF16)、梯度累积与梯度裁剪、ZeRO 分片(ZeRO-1/2/3)、FSDP 全分片数据并行、张量并行与流水线并行、checkpoint 与断点续训、以及分布式训练排错(NCCL 超时/OOM/收敛异常)的完整工程方法论。

7 分钟阅读
分布式训练 检查点 数据并行