集合通信

NCCL 集合通信：AllReduce 原理与多卡训练网络优化

NCCL 是 GPU 集群分布式训练的通信基石。本文系统讲解集合通信为什么是 AI 训练的核心、AllReduce 环算法与树算法的带宽与延迟、AllGather/AlltoAll 等原语、NCCL 与 MPI 的对比、多机拓扑感知与 NVLink/InfiniBand 优化、通信计算重叠，以及环境变量调参与常见陷阱。