来源：原始 Jupyter Notebook。内容已转换为网页阅读格式；下载原文件。

机器学习的本质是求解最优化问题，除了之前提到的线性问题的两种解法之外，还有很多相关的优化算法，这些算法不仅适用于线性模型，也适用于非线性模型。

正规方程的优化算法

在正规方程的计算过程中，我们既要对矩阵求逆，又要求矩阵乘法，如果直接计算，算法复杂度往往很高。这里的矩阵计算有很多优化方法，譬如对 X′X 进行 Cholesky 分解，或者对 X 进行 QR 分解等等。

梯度下降的优化算法

前面介绍了梯度下降的三种形式：BGD、SGD 和 MBGD。但在实际运用中还会面临很多挑战，具体的可以参考 Sebastian Ruder 的这篇论文 An overview of gradient descent optimization algorithms，这里是相应的 中文翻译，论文中提到了 6 种优化算法：

  • Momentum（动量法）
  • NAG（Nesterov加速梯度下降法，Nesterov accelerated gradient）
  • Adagrad
  • Adadelta
  • RMSprop
  • Adam（自适应矩估计，Adaptive Moment Estimation）

无约束项优化算法

牛顿法

梯度下降主要是从目标函数的一阶导数推导而来的，形象点说，就是每次朝着当前梯度最大的方向收敛；而牛顿法是二阶收敛，每次考虑收敛方向的时候，还会考虑下一次的收敛的方向是否是最大（也就是梯度的梯度）。可以参考下图，红线为牛顿法，绿线为梯度下降：

本质上来看，牛顿法是二阶收敛，而梯度下降则为一阶收敛，所以牛顿法更快。简单来说，梯度下降是从所处位置选择一个坡度最大的方向走一步，而牛顿法则在选择方向时，不仅考虑坡度，还会考虑下一步的坡度是否会变得更大。

几何上来说，牛顿法是用一个二次曲面去拟合当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。

牛顿法的优点是二阶收敛，收敛速度快；它的缺点是每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

高斯-牛顿迭代算法

由于牛顿法需要求解二阶导，也就是 Hessian matrix，运算量大，不利于实现，所以通常在牛顿法的基础上用去掉二阶项，用一阶项来近似二阶导，从而保证了计算效率。

高斯-牛顿迭代算法（Gauss-Newton iteration method）是另一种经常用来求解非线性最小二乘的迭代法，其原理是利用了 泰勒展开公式，其最大优点是收敛速度快。

Taylor 级数求得原目标函数的二阶近似：

f(x)≈ϕ(x)=f(x(k))+∇f(x(k))(x−x(k))+12(x−x(k))T∇2f(xk)(x−x(k)) f(x) \approx \phi(x) = f(x^{(k)}) + \nabla f(x^{(k)})(x - x^{(k)}) + \frac{1}{2}(x - x^{(k)})^T \nabla^2 f(x^{k})(x - x^{(k)})

把 xx 看作自变量，所有带有 x(k)x^{(k)} 的项看作常量，令一阶导数等于 0，即可求近似函数的最小值：

Pk=−(∇2f(xk))−1∇f(xk)=−Hesse−1Jacobi P_k = -(\nabla^2 f(x_k))^{-1} \nabla f(x_k) = - {Hesse}^{-1} {Jacobi}

上边的 Hesse 矩阵，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

对于二元的情况，根据上述泰勒展开公式及求导，取0，可以得到如下迭代公式：

xk+1=xk−f′(xk)f′′(xk) x_{k+1} = x_k - \frac{f'(x_k)}{f''(x_k)}

可以看出，因为我们需要求矩阵逆，当 Hesse 矩阵不可逆时无法计算。而且矩阵的逆计算复杂度为n的立方，当规模很大时，计算量超大，通常改良做法是采用 拟牛顿法，如 BFGS、L-BFGS 等。此外，如果初始值离局部极小值太远，Taylor 展开并不能对原函数进行良好的近似。

拟牛顿法

拟牛顿法（Quasi-Newton Methods）的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。

LM 方法

Levenberg-Marquardt 方法，是由于高斯-牛顿方法在计算时需要保证矩阵的正定性，于是引入了一个约束，从而保证计算方法更具普适性。

共轭梯度

共轭梯度法（Conjugate gradient, CG）

https://cosx.org/2016/11/conjugate-gradient-for-regression/

近端梯度

近端梯度法（Proximal Gradient Method ，PG）

https://blog.csdn.net/qq547276542/article/details/78251779

http://roachsinai.github.io/2016/08/03/1Proximal_Method/

参考