训练 on PlumePHPhttps://plumephp.com/tags/%E8%AE%AD%E7%BB%83/Recent content in 训练 on PlumePHPHugozh-CNWed, 30 Sep 2026 09:00:00 +0800Embedding 深入：对比学习、双塔架构与向量检索工程https://plumephp.com/ai-ml-embeddings-deep-dive/Tue, 29 Sep 2026 13:00:00 +0800https://plumephp.com/ai-ml-embeddings-deep-dive/Embedding 深入：对比学习、双塔架构、难负样本、相似度度量与向量检索工程。梯度下降与优化器实战：SGD、Momentum、Adam 的原理与选择https://plumephp.com/ml-gradient-descent-optimizers/Wed, 30 Sep 2026 09:00:00 +0800https://plumephp.com/ml-gradient-descent-optimizers/<h2 id="引言">引言</h2> <p>训练模型本质上是「把损失函数压到最低」——而压到最低的引擎就是<strong>梯度下降</strong>。理解优化器，是理解训练一切模型的起点：为什么学习率一大就震荡、Adam 为什么总比 SGD 收敛快、为什么 2018 年后大家默认用 AdamW。本文从梯度下降的直觉出发，讲清 SGD、Momentum、AdaGrad、RMSProp、Adam、AdamW 六代优化器的演进逻辑，给出超参建议与选型矩阵，并附 PyTorch 实战对照。</p>