https://plumephp.com/tags/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83/Recent content in 分布式训练 on PlumePHPHugozh-CNWed, 30 Sep 2026 11:00:00 +0800https://plumephp.com/ai-ml-distributed-training/Tue, 29 Sep 2026 10:00:00 +0800https://plumephp.com/ai-ml-distributed-training/分布式训练：DDP、混合精度、ZeRO、FSDP、张量/流水线并行、断点续训与排错。https://plumephp.com/hpc-ai-hpc-convergence/Wed, 30 Sep 2026 11:00:00 +0800https://plumephp.com/hpc-ai-hpc-convergence/<h2 id="引言">引言</h2> <p>超算正在成为大模型训练的算力底座，AI 也在反过来改造科学计算——<strong>HPC 与 AI 融合</strong>是当前计算领域最重要的趋势。一方面，大模型训练需要 HPC 级的高速网络与大规模并行；另一方面，科学模拟开始引入神经网络（科学 ML），HPC 作业与 AI 作业在同一张 GPU 集群上共存。</p>https://plumephp.com/hpc-nccl-collectives/Wed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/hpc-nccl-collectives/<h2 id="引言">引言</h2> <p>单卡装不下的模型要分到多卡，多卡就要<strong>同步梯度</strong>；梯度同步的本质是一堆<strong>集合通信</strong>。MPI 为 CPU 集群设计了广播/归约原语，而 GPU 时代 NVIDIA 用 <strong>NCCL（NVIDIA Collective Communications Library）</strong> 把这套思想重新实现——针对 NVLink、PCIe、InfiniBand 的拓扑做了极致优化，成为 PyTorch DDP、Megatron、DeepSpeed 背后事实上的通信标准。</p>