https://plumephp.com/tags/%E5%AD%A6%E4%B9%A0%E7%8E%87/Recent content in 学习率 on PlumePHPHugozh-CNWed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/ml-gradient-descent-optimizers/Wed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/ml-gradient-descent-optimizers/<h2 id="引言">引言</h2> <p>训练模型本质上是「把损失函数压到最低」——而压到最低的引擎就是<strong>梯度下降</strong>。理解优化器，是理解训练一切模型的起点：为什么学习率一大就震荡、Adam 为什么总比 SGD 收敛快、为什么 2018 年后大家默认用 AdamW。本文从梯度下降的直觉出发，讲清 SGD、Momentum、AdaGrad、RMSProp、Adam、AdamW 六代优化器的演进逻辑，给出超参建议与选型矩阵，并附 PyTorch 实战对照。</p>