逻辑回归
由回归走向分类,覆盖二分类、多分类、优化与模型评估。
本专题条目
12 篇文章与资料
01
01. 从回归到分类我们前面学习了线性回归,可以知道,线性回归是通过对一类呈线性分布的数据进行拟合,然后训练一个线性模型对数据进行预测。在回归问题中,这些数据是连续值,但如果我们处理的数据是离散的,那么就是分类问题,线性回归将不再适用。 和 …
Notebook
02
02. 一元分类问题和逻辑函数继续上面的问题,我们希望找到下面这样的一个函数: 其中的 k 称为 决策边界 ,当分数大于决策边界时,就预测考试通过,当分数低于决策边界时,就预测考试未通过。但是上面这样的分段函数无论是求导还是计算都不太方便,为了拟合这 …
Notebook
03
03. 逻辑回归和一元分类问题的求解上一节我们看到可以使用逻辑回归来求解分类问题: 但是这里的 w 和 b 要怎么计算呢?前面在求解线性回归时,我们首先确定模型的损失函数,然后通过计算损失函数的最小值从而得到模型的各个参数。那么逻辑回归的损失函数该如何确定 …
Notebook
04
04. 使用梯度下降解逻辑回归梯度下降法 根据上一节得到的参数 w 和 b 的更新公式,和线性回归一样,为了保证求值稳定,我们在求和的基础上乘以 : 我们就可以用代码实践一把了。首先把最开始的例子散点图画出来: 然后定义 函数和参数 w 和 b 的更 …
Notebook
05
05. 多元分类问题的求解在上一节中,我们根据梯度下降法得到参数 w 和 b 的更新公式: 这个公式可以用于一元分类的情况,也就是只有一个变量,我们可以进一步将其扩展到二元甚至多元的情况。多元逻辑函数可以写成矩阵的形式: 比较容易得出,它对应的梯 …
Notebook
06
06. 使用牛顿法解逻辑回归在前面的学习中,我们知道逻辑回归问题可以转换为求解似然函数的极大值: 再通过一系列的转换,最终得到逻辑回归的损失函数: 为了让损失函数最小,然后使用了梯度下降算法对参数 不断迭代,最终得出参数 。 它的梯度如下: 其中, …
Notebook
07
07. 线性回归和逻辑回归总结线性回归总结 我们先回顾一下线性回归问题,线性模型一般表示成: 也可以写成向量表示: 最常用的求解方法是 最小二乘法 ,它采用 平方损失 作为损失函数: 要求解的模型参数就是损失函数取最小值时参数取值: 最小二乘法有两种 …
Notebook
08
08. 从二分类到多分类// 二分类 多分类
Notebook
09
09. 从线性分类到非线性分类// 线性分类 非线性分类
Notebook
10
10. 分类模型的评估方法和回归模型一样,这一节介绍一些常用的方法来评估分类模型的好坏。 错误率和精度 错误率指分类错误的样本数占样本总数的比例: 精度和错误率相反,指的是分类正确的样本数占样本总数的比例: 查准率和查全率 对于二分类问题,可以将 …
Notebook
·
x. 从逻辑回归到神经网络原知识库中的待补充条目。
Notebook
·
x. 广义线性模型线性回归和逻辑回归都是广义线性模型(Generalized Linear Model)的一种特殊形式。 广义线性模型(Generalized Linear Model) …
Notebook