HPC 与 AI 融合：超算跑大模型训练
科学计算与深度学习的边界正在消失。本文系统讲解 HPC 与 AI 融合：超算为什么能跑大模型训练、GPU 集群拓扑（NVLink/InfiniBand）、数据并行与模型并行、Horovod 与 DeepSpeed、HPC/AI 作业混合调度、科学 ML，以及融合平台的存储与 I/O 挑战。
tag
分布式训练
共 3 篇文章。
NCCL 集合通信：AllReduce 原理与多卡训练网络优化
NCCL 是 GPU 集群分布式训练的通信基石。本文系统讲解集合通信为什么是 AI 训练的核心、AllReduce 环算法与树算法的带宽与延迟、AllGather/AlltoAll 等原语、NCCL 与 MPI 的对比、多机拓扑感知与 NVLink/InfiniBand 优化、通信计算重叠，以及环境变量调参与常见陷阱。
分布式训练实战：DDP、FSDP、ZeRO 与大规模训练工程
大模型训练离不开多卡分布式，本文系统讲解 DDP 数据并行原理与 AllReduce、混合精度训练（FP16/BF16）、梯度累积与梯度裁剪、ZeRO 分片（ZeRO-1/2/3）、FSDP 全分片数据并行、张量并行与流水线并行、checkpoint 与断点续训、以及分布式训练排错（NCCL 超时/OOM/收敛异常）的完整工程方法论。