https://plumephp.com/tags/nccl/Recent content in NCCL on PlumePHPHugozh-CNWed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/hpc-nccl-collectives/Wed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/hpc-nccl-collectives/<h2 id="引言">引言</h2> <p>单卡装不下的模型要分到多卡，多卡就要<strong>同步梯度</strong>；梯度同步的本质是一堆<strong>集合通信</strong>。MPI 为 CPU 集群设计了广播/归约原语，而 GPU 时代 NVIDIA 用 <strong>NCCL（NVIDIA Collective Communications Library）</strong> 把这套思想重新实现——针对 NVLink、PCIe、InfiniBand 的拓扑做了极致优化，成为 PyTorch DDP、Megatron、DeepSpeed 背后事实上的通信标准。</p>https://plumephp.com/ai-collective-communication-nccl/Mon, 28 Sep 2026 15:00:00 +0800https://plumephp.com/ai-collective-communication-nccl/<p>张量并行把 70B 模型拆到 8 张卡，但「拆」带来的通信开销可能把提速全吃掉——<strong>每层 forward 都要跨卡同步</strong>。NCCL（NVIDIA Collective Communications Library）就是这场跨卡通信的引擎：AllReduce 归约梯度、AllGather 广播权重、Ring 算法摊平带宽、NVLink/RDMA 打通互连。本文把 NCCL 讲透：有哪些原语、算法怎么收敛、拓扑怎么感知、多卡推理怎么优化通信，以及「通信到底花多少钱、值不值」。</p>