https://plumephp.com/tags/%E9%9B%86%E5%90%88%E9%80%9A%E4%BF%A1/Recent content in 集合通信 on PlumePHPHugozh-CNWed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/hpc-nccl-collectives/Wed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/hpc-nccl-collectives/<h2 id="引言">引言</h2> <p>单卡装不下的模型要分到多卡，多卡就要<strong>同步梯度</strong>；梯度同步的本质是一堆<strong>集合通信</strong>。MPI 为 CPU 集群设计了广播/归约原语，而 GPU 时代 NVIDIA 用 <strong>NCCL（NVIDIA Collective Communications Library）</strong> 把这套思想重新实现——针对 NVLink、PCIe、InfiniBand 的拓扑做了极致优化，成为 PyTorch DDP、Megatron、DeepSpeed 背后事实上的通信标准。</p>