NCCL 集合通信：AllReduce 原理与多卡训练网络优化
NCCL 是 GPU 集群分布式训练的通信基石。本文系统讲解集合通信为什么是 AI 训练的核心、AllReduce 环算法与树算法的带宽与延迟、AllGather/AlltoAll 等原语、NCCL 与 MPI 的对比、多机拓扑感知与 NVLink/InfiniBand 优化、通信计算重叠，以及环境变量调参与常见陷阱。
tag
AllReduce
共 2 篇文章。
NCCL 集合通信：AllReduce、Ring 算法与多卡推理的通信优化
多卡推理的吞吐天花板往往不在算力，而在 GPU 之间的通信。NCCL 是 NVIDIA 的集合通信库：AllReduce/AllGather/Reduce-Scatter 原语、Ring 与 Tree 算法、NVLink/RDMA 互连、拓扑感知与超节点。本文把 NCCL 讲透：通信原语怎么选、算法怎么收敛、拓扑怎么感知，以及多卡推理（张量并行）的通信优化实战。