https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/Recent content in 优化算法 on Colommar BlogHugozh-CNWed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/01-%E7%89%9B%E9%A1%BF%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/01-%E7%89%9B%E9%A1%BF%E6%B3%95/牛顿法是一种二阶优化算法，相对于梯度下降算法收敛速度更快。 首先，我们在函数 上选择一个初始点 ，并计算相应的 和切线斜率 ，然后我们计算穿过点 并且斜率为 的直线和 X 轴的交点，也就是求如下方程的解： 我们将新求得的点的坐标命名为 ，通常 会比 更接近 的解。因此我们现在可以利用 开始下一轮迭代，迭代公式可化简为如下所示： 疑惑：不是https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/02-%E6%8B%9F%E7%89%9B%E9%A1%BF%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/02-%E6%8B%9F%E7%89%9B%E9%A1%BF%E6%B3%95/拟牛顿法在一定程度上解决了牛顿法计算量大的问题，其本质思想是改善牛顿法每次需要求解复杂的 Hessian 矩阵的逆矩阵的缺陷，它使用正定矩阵来近似 Hessian 矩阵的逆，从而简化了运算的复杂度。 拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大