支持向量机

系统整理间隔、对偶、SMO、核方法与支持向量回归。

本专题条目

9 篇文章与资料

01 01. 什么是支持向量机支持向量机 （Support Vector Machine，简称 SVM）和逻辑回归、朴素贝叶斯一样，也是一种有监督分类算法，它的目标是通过最大化训练数据集的间隔找到一个最优划分超平面。 那么什么是支持向量？什么是间隔？ … Notebook 02 02. 支持向量机的对偶问题上一节我们学习了支持向量机的优化目标为： 这是一个 凸二次规划 （convex quadratic programming） 问题，可以用现成的 QP 优化包来求解。（TODO） 另外，还可以通过 拉格朗日乘子法 将其转 … Notebook 03 03. 硬间隔与软间隔在前面的例子中，我们假定样本空间是线性可分的，即存在一个超平面将不同类别完全划分开来。然而在现实的分类任务中，样本空间往往是线性不可分的，譬如下面这样： 可见，数据中混入了一些异常点，导致没办法通过一个超平面将其分成两个 … Notebook 04 04. 软间隔支持向量机的对偶问题上一节我们得到了软间隔支持向量机的基本形式： 为了求解这个问题，我们也使用 拉格郎日乘子法 将其转换为对偶形式。我们给每一个约束条件加上 拉格朗日乘子 ，得到 拉格郎日函数 ： 其中 是拉格郎日乘子。 和硬间隔支持向量机 … Notebook 05 05. SMO 算法前面我们使用拉格朗日乘子法将支持向量机的基本形式转化为对偶形式，得到了硬间隔支持向量机和软间隔支持向量机的优化目标。 硬间隔的优化目标为： 软间隔的优化目标为： 对于这个带约束条件的优化问题，可以使用 二次规划 的方法进 … Notebook 06 06. Scikit Learn 中的 SVM这一节我们使用 sklearn 中提供的 SVM 方法来解决一个简单的二分类问题。sklearn 自带了一个鸢尾花的数据集，这个数据集是 Fisher 在 1936 年收集整理的，是一类多重变量分析的数据集， … Notebook 07 07. 非线性支持向量机和核函数在前面的学习中，我们假设训练样本是线性可分的，也就是存在一个划分超平面能将训练样本正确分类，那么如果训练样本是非线性的，不存在这样的划分超平面时，该如何解决呢？ 譬如下面的异或问题就不是线性可分的： 我们在学习非线性回归 … Notebook 08 08. 非线性支持向量机实战TODO Notebook 09 09. 支持向量回归支持向量机模型也可以处理回归问题，假设我们能容忍 和 之间最多有 的偏差，只有当 和 之间的偏差大于 时才计算损失，如下图所示： 这被称为 支持向量回归 （Support Vector Regression， … Notebook