Colommar Blog
机器学习
归档
标签
关于
主页
机器学习知识库
优化算法
优化算法专题资料与学习笔记。
本专题条目
2 篇文章与资料
01
01. 牛顿法
牛顿法是一种二阶优化算法,相对于梯度下降算法收敛速度更快。 首先,我们在函数 上选择一个初始点 ,并计算相应的 和切线斜率 ,然后我们计算穿过点 并且斜率为 的直线和 X 轴的交点,也就是求如下方程的解: 我们将新求得的 …
Notebook
→
02
02. 拟牛顿法
拟牛顿法在一定程度上解决了牛顿法计算量大的问题,其本质思想是改善牛顿法每次需要求解复杂的 Hessian 矩阵的逆矩阵的缺陷,它使用正定矩阵来近似 Hessian 矩阵的逆,从而简化了运算的复杂度。 拟牛顿法和最速下降法 …
Notebook
→