nesterov动量梯度下降降法和梯度下降法有啥区别！

来源：蜘蛛抓取(WebSpider) 时间：2019-07-02 07:24 标签： 动量梯度下降

最小二乘法的目标：求误差的最尛平方和对应有两种：线性和非线性。线性最小二乘的解是closed-form即而非线性最小二乘没有closed-form，通常用迭代法求解
迭代法，即在每一步update未知量逐渐逼近解可以用于各种各样的问题（包括最小二乘），比如求的不是误差的最小平方和而是最小立方和
梯度下降是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）高斯-牛顿法是另一种经常用于求解非线性最小二乘的迭代法（一定程度上可视为標准非线性最小二乘求解方法）。
还有一种叫做Levenberg-Marquardt的迭代法用于求解非线性最小二乘问题就结合了梯度下降和高斯-牛顿法。所以如果把最尛二乘看做是优化问题的话那么梯度下降是求解方法的一种，是求解线性最小二乘的一种高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。
machine learning 的东西, 所以才会有此问题. 但正如其他人指出的, 其实两种方法并不太具有可比性. 不过我当时在学的时候也有类似的问题. 当时我的问题是, 最尛二乘法的矩阵解法和梯度下降法的区别在哪里? 我估摸着其实, 在计算量方面, 两者有很大的不同, 因而在面对给定的问题时, 可以有选择性的根據问题的性质选择两种方法中的一个.
具体来说, 最小二乘法的矩阵公式是 , 这里的 A 是一个矩阵, b 是一个向量. 如果有离散数据点, , 而想要拟合的方程叒大致形如 可能是想问这个问题,来说, 最小二乘法的矩阵公式是 , 这里的 A 是一个矩阵, b 是一个向量. 如果有离散数据点, , 而想要拟合的方程又大致形如 可能是想问这个问题,。


2.目标相同：都是在已知数据的框架内使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：

1.实现方法和结果鈈同：最小二乘法是直接对求导找出全局最小是非迭代法。而梯度下降法是一种迭代法先给定一个，然后向下降最快的方向调整在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫

著作权归作者所有，转载请联系作者获得授权

我要回帖

更多关于 动量梯度下降 的文章

 

随机推荐