版权声明：本文为博主原创文章遵循 版权协议，转载请附上原文出处链接本声明

从前面的例子可以知道，当我们利用梯度下降法的时候虽然横轴也在前进，但纵轴擺动太大假设纵轴是b横轴是w，假如我们想减弱b的幅度加快或者不减少w的前进，RMSProp算法就可以起到这个作用
那么该算法是怎么起作用的呢？对于b方向我们想减少b的摆动。所以对于sdw${}_{{}_{{}_{\frac{}{{\sqrt{}}_{}}}}}$除数就会较小那么更新的就会大一些，同样sdb${}_{\frac{}{{\sqrt{}}_{}}}$除数就会较大那么更新的就会小一些，减少叻纵轴的摆动
所以，RMSPropMomentum算法有相似的一点是都可以消除下降过程中的摆动

wb只是为了方便展示才使用的，实际上对于高维度w来说可能纵軸是w1，w3..而横轴是w2w4等。
动量梯度下降法的不是同一个
接近为0，一般会在sdw${}_{\mathrm{<msup>\; <mrow></mrow>\; </msup>}}$这只是为了保证数值能稳定一些。

在深度学习的历史上包括許多志明研究者在内提出了优化算法，并很好的解决了一些问题但随后这些优化算法被指出并不能一般化，不能适用于多种神经网络時间久了，深度学习圈子里的人开始多少有些质疑全新的算法很多人觉得动量下降算法很好用，很难找到更优化的算法了所以RMSPropAdam算法是尐有的经受人们质疑的2种算法，已被证实可以适用不同的深度学习结构
Adam，读作/艾德穆不是额呆穆/（音标不会打）算法是非常常用的算法，其全称是Adaptive Moment Estimationβ1${\mathrm{<msub></msub>}}_{}$用来计算平方数的指数加权平均数，叫做第二矩（second moment）所以Adam的名字由此而来。