https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/Recent content in 线性回归 on Colommar BlogHugozh-CNWed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/01-%E4%BB%80%E4%B9%88%E6%98%AF%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/01-%E4%BB%80%E4%B9%88%E6%98%AF%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/一元线性回归 假设有下面的数据，表示某地区房屋面积和售价的关系： 房屋面积（平米） 售价（万） 39.93 199 42.05 290 43.18 298 44.68 310 49.87 399 53.57 420 将房屋面积作为横坐标（自变量），售价作为纵坐标（因变量），在二维坐标系中，可以画出一条类似直线的散点图： 如何找到一条直线，https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/02-%E4%B8%80%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%B1%82%E8%A7%A3/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/02-%E4%B8%80%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%B1%82%E8%A7%A3/求解一元线性回归，实际上就是找一条直线，使得它和散点图中的所有点距离最近。直线和散点的距离一般通过损失函数来度量， 损失函数 （Loss Function）有时也称为 代价函数 （Cost Function），常用的损失函数有两种，一种是 绝对损失（Absolute Loss） ，另一种是 平方损失（Squared Loss） ： 绝对损https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/03-%E4%BA%8C%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%B1%82%E8%A7%A3/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/03-%E4%BA%8C%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%B1%82%E8%A7%A3/接下来，我们从一元拓展到二元的场景。假设某个贷款产品根据客户的工资和房屋面积来决定可贷款额度，并存在下面几个样例数据： 工资（元） 房屋面积（平米） 可贷款金额（元） 6000 60 340000 6000 80 350000 8000 70 400000 8000 100 450000 10000 90 500000 很显然，这里工资和https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/04-%E5%A4%9A%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%B1%82%E8%A7%A3/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/04-%E5%A4%9A%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%B1%82%E8%A7%A3/从一元线性回归和二元线性回归的解法中可以看到，线性回归的一般思路是这样的： 1. 定义损失函数： 2. 将线性回归函数 代入损失函数，并求解系数 ， ，...， 使得损失函数最小 3. 损失函数的最小值可以通过对损失函数求导来实现，分别对每个系数求偏导，并令其等于 0 4. 得到一个关于各个系数的线性方程组，求解这个线性方程组得到各个系数https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/05-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%89%A9%E5%B1%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/05-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%89%A9%E5%B1%95/在现实生活中，纯粹的线性模型是很难遇到的，我们不妨再来看看下面的数据集： x y 40 216 50 399 60 496 70 507 80 432 90 271 如果我们按照线性回归的解法，也能得到解，如下所示： 得到一元线性回归： 我们画出回归线和散点数据： 从图中很容易看出，线性回归对数据的拟合度不是很高，很显然散点的分布不是直线https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/06-nfl%E5%AE%9A%E7%90%86%E5%92%8C%E8%BF%87%E6%8B%9F%E5%90%88/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/06-nfl%E5%AE%9A%E7%90%86%E5%92%8C%E8%BF%87%E6%8B%9F%E5%90%88/对于一堆输入数据，我们可以用线性回归来拟合它，也可以用二次回归，三次回归，或者 N 次回归来拟合它。在函数逼近理论里，有一个定理叫做 Weierstrass定理 ，该定理阐述了在预先给定的精度下，可以用多项式逼近任意给定的闭区间上的连续函数。 Weierstrass第一逼近定理：假设 是闭区间 [a,b] 上的连续函数，对于任意的 ，则存https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/07-%E4%BD%BF%E7%94%A8-sklearn-%E8%A7%A3%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/07-%E4%BD%BF%E7%94%A8-sklearn-%E8%A7%A3%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/前面在计算多项式回归时，随着维度的增多，程序写起来也越来越麻烦。这一节我们使用 scikit learn 来简化这个操作。 scikit learn 简称 sklearn，它是 Python 语言里的一个通用机器学习库，里面包含了大量常用的机器学习方法，如分类，回归，无监督学习，降维，预处理等等。在前面求解线性回归问题时，我们使用了最原始https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/08-%E9%80%9A%E8%BF%87%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BC%B0%E9%99%8D%E4%BD%8E%E8%BF%87%E6%8B%9F%E5%90%88/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/08-%E9%80%9A%E8%BF%87%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BC%B0%E9%99%8D%E4%BD%8E%E8%BF%87%E6%8B%9F%E5%90%88/在前一节的例子中，我们只有一个自变量，也就是只有一个特征 ，但是通过数学变换，我们可以扩展到多个特征 ，并得到多项式回归。模型的结果如下图所示： 从图中的拟合程度来看，似乎是特征越多，模型越复杂，拟合效果越好。很显然这是不可取的，在前面讲到过拟合时我们提到，用非常复杂的模型可以把训练误差降的很低，甚至为0，而我们其实是希望模型在新样本上表https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/09-%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%AF%84%E4%BC%B0%E5%92%8C%E9%80%89%E6%8B%A9/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/09-%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%AF%84%E4%BC%B0%E5%92%8C%E9%80%89%E6%8B%A9/在上一节中我们学到，为了避免模型在数据集上过度训练导致过拟合，通常将数据集划分为训练集和测试集。 数据集划分方法 假设我们有一个包含 m 个样例的数据集 ，得想办法对数据集进行划分，分成训练和测试两类，训练集记为 ，测试集记为 。这样的划分方法有很多，常见的有： 留出法 （hold out）、 交叉验证法 （cross validatiohttps://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/10-%E4%BB%80%E4%B9%88%E6%98%AF%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/10-%E4%BB%80%E4%B9%88%E6%98%AF%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D/我们前面在求解线性回归时，都是通过下面的这个被叫做 正规方程 的式子来计算线性回归的： 使用这种方法虽然简单，容易理解，但在现实生活中却有着很大的局限性。首先，并非所有的函数都可以通过求导来计算它的极值点，有些函数的导数根本不存在解析解；其次，在正规方程的计算过程中使用的矩阵 必须是可逆的，且不说有些矩阵是不可逆的，还有些矩阵的求逆非常困https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/11-%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E7%9A%84%E7%AE%80%E5%8D%95%E4%BE%8B%E5%AD%90/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/11-%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E7%9A%84%E7%AE%80%E5%8D%95%E4%BE%8B%E5%AD%90/根据前面介绍的梯度，我们来看几个使用梯度下降法求解极值的例子。对于函数 ，我们首先选取一个初始点 ，然后沿着梯度方向对初始值进行更新得到 ： 然后再对 进行更新得到 ，以此类推，直到损失函数的值不再有显著变化，最终得到 就是我们要求的参数，它使损失函数达到最小。其中 是一个待确定的常数，通常被称为 学习率 （learning rate）或https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/12-%E5%88%A9%E7%94%A8%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95%E8%A7%A3%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/12-%E5%88%A9%E7%94%A8%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95%E8%A7%A3%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/一元线性回归的梯度下降 下面使用梯度下降算法来求解前面的线性回归问题，我们知道，对一元线性回归，损失函数为： 这是一个二元二次方程，我们对该方程求梯度，也就是分别对参数 a 和 b 求偏导，得到参数的更新公式： 将损失函数带入上式求导，得到： 我们使用代码来实现这个过程，先来看一个最简单的例子，手工造几个散点，然后使用梯度下降法来求解线性https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/13-sklearn-%E4%B8%AD%E7%9A%84%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/13-sklearn-%E4%B8%AD%E7%9A%84%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95/sklearn 中的梯度下降法 上面的求解过程中，我们每次的迭代都用到了所有样本，这样做可以让收敛速度最快，但是如果样本数非常多，计算性能就会变低，上面的例子中一共也就3个样本，所以不明显。像这种每次迭代都使用全部样本的方法，叫做 批量梯度下降 （Batch gradient descend，BGD）。为了提高计算性能，可以在每次迭代中随https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/14-%E6%9C%80%E4%BC%98%E5%8C%96%E9%97%AE%E9%A2%98%E7%9A%84%E5%85%B6%E4%BB%96%E7%AE%97%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/14-%E6%9C%80%E4%BC%98%E5%8C%96%E9%97%AE%E9%A2%98%E7%9A%84%E5%85%B6%E4%BB%96%E7%AE%97%E6%B3%95/机器学习的本质是求解最优化问题，除了之前提到的线性问题的两种解法之外，还有很多相关的优化算法，这些算法不仅适用于线性模型，也适用于非线性模型。 正规方程的优化算法 在正规方程的计算过程中，我们既要对矩阵求逆，又要求矩阵乘法，如果直接计算，算法复杂度往往很高。这里的矩阵计算有很多优化方法，譬如对 X′X 进行 Cholesky 分解，或者对https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/15-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%AE%9E%E4%BE%8B/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/15-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%AE%9E%E4%BE%8B/经过前面的学习，我们来看一个使用线性回归解决真实问题的实例：使用线性回归检测水泥质量（案例来源）。 已知类似于下面这样的水泥成分样本数据，如何得到一个水泥质量预测模型，能预测出水泥的好坏？ 其中，每一行代表一个样本，1 7 列是每立方米混合物中各个成分的重量（单位：千克），第 8 列是已使用天数，第 9 列 是该行水泥样本的强度（单位：Mhttps://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/16-%E5%B8%A6%E7%BA%A6%E6%9D%9F%E6%9D%A1%E4%BB%B6%E7%9A%84%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/16-%E5%B8%A6%E7%BA%A6%E6%9D%9F%E6%9D%A1%E4%BB%B6%E7%9A%84%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/在前面的学习中，我们从同一份样本数据中得到了三个模型，而且三个模型的拟合效果都很好，不过很显然，二次模型和三次模型都过于复杂了，属于过拟合。为了判断哪个模型的性能最优，泛化能力最强，我们将数据集划分为训练集和测试集，然后选择在测试集上表现最好的模型。使用这种方法可以有效的评估模型结果，避免过拟合。 这一节我们将学习一种避免过拟合的新方法：https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/17-%E6%B1%82%E8%A7%A3%E5%B2%AD%E5%9B%9E%E5%BD%92%E5%92%8Classo%E5%9B%9E%E5%BD%92/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/17-%E6%B1%82%E8%A7%A3%E5%B2%AD%E5%9B%9E%E5%BD%92%E5%92%8Classo%E5%9B%9E%E5%BD%92/岭回归的求解 岭回归就是 基于 约束的最小二乘法 ，它的损失函数为： 我们将损失函数表示成矩阵形式： 和最小二乘的正规方程解法一样，我们对 求偏导： 令其等于 0，求得损失函数最小时 的解析解： 一般 约束的最小二乘求解 在前面介绍岭回归的时候，我们不仅介绍了 约束，还将其扩展到更一般的情况： 它的损失函数可以表示成： 我们可以对其求偏导https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/18-%E4%BD%BF%E7%94%A8%E5%B2%AD%E5%9B%9E%E5%BD%92%E8%A7%A3%E5%86%B3%E5%85%B1%E7%BA%BF%E6%80%A7%E9%97%AE%E9%A2%98/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/18-%E4%BD%BF%E7%94%A8%E5%B2%AD%E5%9B%9E%E5%BD%92%E8%A7%A3%E5%86%B3%E5%85%B1%E7%BA%BF%E6%80%A7%E9%97%AE%E9%A2%98/什么时候使用岭回归？ 我们把岭回归的解和普通最小二乘的解析解作一个对比。 我们知道，使用最小二乘进行线性回归时，有正规方程和梯度下降两种解法，使用正规方程可以求得： 可以看到岭回归的解和普通最小二乘的解非常类似，只是在 的基础上加上一个对角矩阵。在前面我们提到过，正规方程有很多不足之处，其中很重要的一点是 必须是可逆的，关于 可逆有很多其https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/19-lasso%E5%9B%9E%E5%BD%92%E5%92%8C%E7%A8%80%E7%96%8F%E5%AD%A6%E4%B9%A0/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/19-lasso%E5%9B%9E%E5%BD%92%E5%92%8C%E7%A8%80%E7%96%8F%E5%AD%A6%E4%B9%A0/原知识库中的待补充条目。https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/20-%E9%B2%81%E6%A3%92%E5%AD%A6%E4%B9%A0/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/20-%E9%B2%81%E6%A3%92%E5%AD%A6%E4%B9%A0/前面我们学习了通过最小二乘法求解回归模型，既可以求解线性回归，也可以扩展到非线性回归。最小二乘法是机器学习中的最基础的算法，这种求解损失函数最小值的思路可以延伸到更多的机器学习算法中，包括分类和聚类问题。 介绍损失函数时我们提到了两种损失函数，一种是 绝对损失（Absolute Loss） ，一种是 平方损失（Squared Loss）https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/todo/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/todo/带约束条件的最小二乘 岭回归 Lasso 回归 弹性网 优化求解算法 梯度下降法 拟牛顿法 牛顿法 鲁棒学习 L1 损失 Huber 损失 Tukey 损失 各种回归模型 线性回归（简单线性回归） 股票投资：根据股票背后企业的财务特征（X）预测该股票的未来收益率（Y），实现超额收益率 客户终身价值：根据消费者的人口统计特征以及过去的消费记https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/x-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%A6%82%E7%8E%87%E8%A7%A3%E9%87%8A/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/x-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9A%84%E6%A6%82%E7%8E%87%E8%A7%A3%E9%87%8A/线性回归实际上满足下面三个假设： 1. 因变量 y 和自变量 x 之间是线性关系； 2. 自变量 x 和干扰项 e 相互独立； 3. 没有被线性模型捕捉到的随即因素 e 服从正态分布；https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/x-%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E7%9A%84%E6%95%B0%E5%AD%A6%E8%A7%A3%E9%87%8A/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/x-%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E7%9A%84%E6%95%B0%E5%AD%A6%E8%A7%A3%E9%87%8A/微积分角度来讲 ，最小二乘法是采用非迭代法，针对代价函数求导数而得出全局极值，进而对所给定参数进行估算。 计算数学角度来讲 ，最小二乘法的本质上是一个线性优化问题，试图找到一个最优解。 线性代数角度来讲 ，最小二乘法是求解线性方程组，当方程个数大于未知量个数，其方程本身无解，而最小二乘法则试图找到最优残差。 几何角度来讲 ，最小二乘法中的