梯度下降法是什么?
发布网友
发布时间：2022-04-21 06:25
共2个回答
懂视网
时间：2022-04-21 10:46
梯度下降法是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降是最常采用的方法之一，在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。
热心网友
时间：2022-04-21 07:54
梯度下降是通过迭代搜索一个函数极小值的优化算法。使用梯度下降，寻找一个函数的局部极小值的过程起始于一个随机点，并向该函数在当前点梯度（或近似梯度）的反方向移动。梯度下降算法是一种非常经典的求极小值的算法。
比如逻辑回归可以用梯度下降进行优化，因为这两个算法的损失函数都是严格意义上的凸函数，即存在全局唯一极小值，较小的学习率和足够的迭代次数，一定可以达到最小值附近，满足精度要求是完全没有问题的。并且随着特征数目的增多，梯度下降的效率将远高于去解析标准方程的逆矩阵。
常用的梯度下降法有3种不同的形式：
（1）批量梯度下降法，简称BGD，使用所有样本，比较耗时。
（2）随机梯度下降法，简称SGD，随机选择一个样本，简单高效。
（3）小批量梯度下降法，简称MBGD，使用少量的样本，这是一个折中的办法。
机梯度下降法优点：
1、更容易跳出局部最优解。
2、具有更快的运行速度。
