PyTorch模型训练优化器Adam和AdamW - 知乎
Adam 是一种结合了 Momentum动量思想 （利用累加历史梯度信息更新梯度，减少震荡，加速通往谷底） 和 RMSProp自适应学习率思想 （记录各个参数方向上的 梯度 的振荡幅度，振荡幅度 …
深入剖析 Adam 优化器：原理、优势与应用 - 知乎
在深度学习领域，优化器的选择对模型的训练效率和性能起着决定性作用。 Adam优化器作为一种自适应优化算法，凭借其根据历史梯度信息动态调整学习率的特性，备受研究者和工程师的青 …
Adam和AdamW - 知乎
AdamW目前是大语言模型训练的默认优化器，而大部分资料对Adam跟AdamW区别的介绍都不是很明确，在此梳理一下Adam与AdamW的计算流程，明确一下二者的区别。
一文读懂Adam优化算法 - 知乎
May 9, 2024 · 自从 梯度下降 （Gradient Descent）算法诞生以来，众多变体被提出，以适应不同的需求和场景。 其中， Adam（Adaptive Moment Estimation）算法 因其高效和强大的性能成 …
一文看懂各种神经网络优化算法：从梯度下降到Adam方法 - 知乎
应该用 梯度下降， 随机梯度下降，还是 Adam方法？ 这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。 什么是优化算法？ 优化算法的功能，是通过改善训练方 …
简单认识Adam优化器 - 知乎
2014年12月， Kingma和Lei Ba两位学者提出了Adam优化器，结合AdaGrad和RMSProp两种优化算法的优点。 对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估 …
如何理解Adam算法 (Adaptive Moment Estimation)？ - 知乎
我们组刚中的一篇 ICML2022 Oral 的论文就是从动力学角度理论分析了Adam，特别是Adam相对于SGD的优劣之处。 一句话结论： Adam逃离鞍点很快，但是不能像SGD一样擅长寻找泛化 …
PyTorch中的torch.optim.Adam优化器 - 知乎
基本原理 Adam本质上是一个优化器，用于优化模型的参数。 这样的优化步骤可以由以下公式描述： θ t = θ t 1 η m ^ t v ^ t + ϵ ，其中 η 为初始学习率， ϵ 为数值稳定常数，说白了是用于防止除 …
2025年了，你还在无脑用Adam？我把最新的优化器都扒了一遍
作为一名算法工程师/AI研究者，如果问我哪个优化器是yyds，估计十有八九的人会脱口而出： Adam。 没错，Adam凭借其稳定性和易用性，多年来一直被奉为深度学习的“标配”。 从CV …
动手学深度学习11.10. Adam算法-笔记&练习（PyTorch） - 知乎
Apr 27, 2025 · Adam算法将许多优化算法的功能结合到了相当强大的更新规则中。 Adam算法在RMSProp算法基础上创建的，还在小批量的随机梯度上使用EWMA。 在估计动量和二次矩 …