https://plumephp.com/tags/gpudirect/Recent content in GPUDirect on PlumePHPHugozh-CNMon, 28 Sep 2026 15:00:00 +0800https://plumephp.com/ai-collective-communication-nccl/Mon, 28 Sep 2026 15:00:00 +0800https://plumephp.com/ai-collective-communication-nccl/<p>张量并行把 70B 模型拆到 8 张卡，但「拆」带来的通信开销可能把提速全吃掉——<strong>每层 forward 都要跨卡同步</strong>。NCCL（NVIDIA Collective Communications Library）就是这场跨卡通信的引擎：AllReduce 归约梯度、AllGather 广播权重、Ring 算法摊平带宽、NVLink/RDMA 打通互连。本文把 NCCL 讲透：有哪些原语、算法怎么收敛、拓扑怎么感知、多卡推理怎么优化通信，以及「通信到底花多少钱、值不值」。</p>