检查点与重启策略
检查点是让长时作业在故障后「快速回来」的核心机制。本文讲清全量/增量/多级检查点的取舍、SCR 与 VeloC 等库的用法、检查点 IO 优化与冗余级别、ULFM 运行时容错、Young/Daly 最优间隔公式,以及 Slurm 上的自动重启与信号处理实践。
tag
检查点是让长时作业在故障后「快速回来」的核心机制。本文讲清全量/增量/多级检查点的取舍、SCR 与 VeloC 等库的用法、检查点 IO 优化与冗余级别、ULFM 运行时容错、Young/Daly 最优间隔公式,以及 Slurm 上的自动重启与信号处理实践。
本节只证明固定脚本在完整工具轮次后保存、恢复并继续运行。恢复时校验版本、脚本指纹、游标和工具结果配对。模型游标属于 FakeModel,不能推广为真实供应商游标。真实模型即使看到完整历史,也可能再请求相同工具;已发生副作用不能靠历史完整性保证不重做。
大模型训练离不开多卡分布式,本文系统讲解 DDP 数据并行原理与 AllReduce、混合精度训练(FP16/BF16)、梯度累积与梯度裁剪、ZeRO 分片(ZeRO-1/2/3)、FSDP 全分片数据并行、张量并行与流水线并行、checkpoint 与断点续训、以及分布式训练排错(NCCL 超时/OOM/收敛异常)的完整工程方法论。
围绕新手引导、主线前几分钟体验和断线恢复,说明服务器如何设计引导进度检查点,兼顾客户端表现自由、服务器状态可信、数据分析准确和灰度实验可控。