https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/Recent content in 逻辑回归 on Colommar BlogHugozh-CNWed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/01-%E4%BB%8E%E5%9B%9E%E5%BD%92%E5%88%B0%E5%88%86%E7%B1%BB/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/01-%E4%BB%8E%E5%9B%9E%E5%BD%92%E5%88%B0%E5%88%86%E7%B1%BB/我们前面学习了线性回归，可以知道，线性回归是通过对一类呈线性分布的数据进行拟合，然后训练一个线性模型对数据进行预测。在回归问题中，这些数据是连续值，但如果我们处理的数据是离散的，那么就是分类问题，线性回归将不再适用。 和线性回归一样，我们从一个最简单的例子开始探索分类问题。假设我们有下面一组数据，表示某个班级中所有学生某一次考试的成绩以及https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/02-%E4%B8%80%E5%85%83%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98%E5%92%8C%E9%80%BB%E8%BE%91%E5%87%BD%E6%95%B0/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/02-%E4%B8%80%E5%85%83%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98%E5%92%8C%E9%80%BB%E8%BE%91%E5%87%BD%E6%95%B0/继续上面的问题，我们希望找到下面这样的一个函数： 其中的 k 称为 决策边界 ，当分数大于决策边界时，就预测考试通过，当分数低于决策边界时，就预测考试未通过。但是上面这样的分段函数无论是求导还是计算都不太方便，为了拟合这个函数，数据科学家们提出了下面的 S 型函数 ： 它的图形如下图所示： 这种 S 型形状的函数叫做 Sigmoid 函数https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/03-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E5%92%8C%E4%B8%80%E5%85%83%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98%E7%9A%84%E6%B1%82%E8%A7%A3/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/03-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E5%92%8C%E4%B8%80%E5%85%83%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98%E7%9A%84%E6%B1%82%E8%A7%A3/上一节我们看到可以使用逻辑回归来求解分类问题： 但是这里的 w 和 b 要怎么计算呢？前面在求解线性回归时，我们首先确定模型的损失函数，然后通过计算损失函数的最小值从而得到模型的各个参数。那么逻辑回归的损失函数该如何确定呢？ 如果按照最小二乘的求解思路，这里的 呈线性关系，可以定义出损失函数： 但是很显然， 的取值不是 0 就是 1，代入https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/04-%E4%BD%BF%E7%94%A8%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E8%A7%A3%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/04-%E4%BD%BF%E7%94%A8%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E8%A7%A3%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/梯度下降法 根据上一节得到的参数 w 和 b 的更新公式，和线性回归一样，为了保证求值稳定，我们在求和的基础上乘以 ： 我们就可以用代码实践一把了。首先把最开始的例子散点图画出来： 然后定义 函数和参数 w 和 b 的更新公式： 我们选取参数的初始值 ，并令学习率 ，然后进行第一次迭代： 显然，一次迭代并不能得到很好的分类效果，我们把这个https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/05-%E5%A4%9A%E5%85%83%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98%E7%9A%84%E6%B1%82%E8%A7%A3/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/05-%E5%A4%9A%E5%85%83%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98%E7%9A%84%E6%B1%82%E8%A7%A3/在上一节中，我们根据梯度下降法得到参数 w 和 b 的更新公式： 这个公式可以用于一元分类的情况，也就是只有一个变量，我们可以进一步将其扩展到二元甚至多元的情况。多元逻辑函数可以写成矩阵的形式： 比较容易得出，它对应的梯度更新公式为： 其中 表示的是样本 的第 个分量，对应权重 。写成矩阵形式就是： 实例一、二元线性分类 Peter Hahttps://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/06-%E4%BD%BF%E7%94%A8%E7%89%9B%E9%A1%BF%E6%B3%95%E8%A7%A3%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/06-%E4%BD%BF%E7%94%A8%E7%89%9B%E9%A1%BF%E6%B3%95%E8%A7%A3%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/在前面的学习中，我们知道逻辑回归问题可以转换为求解似然函数的极大值： 再通过一系列的转换，最终得到逻辑回归的损失函数： 为了让损失函数最小，然后使用了梯度下降算法对参数 不断迭代，最终得出参数 。 它的梯度如下： 其中， 最后得出梯度下降的迭代公式如下： 梯度下降还可以进一步衍生出随机梯度下降法，都可以很好的求解逻辑回归问题，这一节将介绍https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/07-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%92%8C%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E6%80%BB%E7%BB%93/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/07-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%92%8C%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E6%80%BB%E7%BB%93/线性回归总结 我们先回顾一下线性回归问题，线性模型一般表示成： 也可以写成向量表示： 最常用的求解方法是 最小二乘法 ，它采用 平方损失 作为损失函数： 要求解的模型参数就是损失函数取最小值时参数取值： 最小二乘法有两种常见的求解思路，一种使用正规方程： 另一种使用优化算法梯度下降： 逻辑回归总结 逻辑回归模型一般表示成： 其中， ，假设https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/08-%E4%BB%8E%E4%BA%8C%E5%88%86%E7%B1%BB%E5%88%B0%E5%A4%9A%E5%88%86%E7%B1%BB/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/08-%E4%BB%8E%E4%BA%8C%E5%88%86%E7%B1%BB%E5%88%B0%E5%A4%9A%E5%88%86%E7%B1%BB/// 二分类 多分类https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/09-%E4%BB%8E%E7%BA%BF%E6%80%A7%E5%88%86%E7%B1%BB%E5%88%B0%E9%9D%9E%E7%BA%BF%E6%80%A7%E5%88%86%E7%B1%BB/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/09-%E4%BB%8E%E7%BA%BF%E6%80%A7%E5%88%86%E7%B1%BB%E5%88%B0%E9%9D%9E%E7%BA%BF%E6%80%A7%E5%88%86%E7%B1%BB/// 线性分类 非线性分类https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/10-%E5%88%86%E7%B1%BB%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%AF%84%E4%BC%B0%E6%96%B9%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/10-%E5%88%86%E7%B1%BB%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%AF%84%E4%BC%B0%E6%96%B9%E6%B3%95/和回归模型一样，这一节介绍一些常用的方法来评估分类模型的好坏。 错误率和精度 错误率指分类错误的样本数占样本总数的比例： 精度和错误率相反，指的是分类正确的样本数占样本总数的比例： 查准率和查全率 对于二分类问题，可以将样本的真实类别和模型的识别结果组成四种情形： True Positive 真正类(TP)，样本的真实类别是正类，并且模型https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/x-%E4%BB%8E%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E5%88%B0%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/x-%E4%BB%8E%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E5%88%B0%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/原知识库中的待补充条目。https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/x-%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/x-%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/线性回归和逻辑回归都是广义线性模型（Generalized Linear Model）的一种特殊形式。 广义线性模型（Generalized Linear Model） https://zhuanlan.zhihu.com/p/22876460 广义线性模型 学习笔记（一）——定义 https://xg1990.com/blog/arch