决策树

学习属性划分、剪枝、连续值、缺失值与多变量决策树。

本专题条目

6 篇文章与资料

01 01. 决策树算法概述决策树 （decision tree）是一种基于树结构的机器学习算法，它和人类在面临决策问题时的处理机制类似。譬如在判定一个西瓜是不是好瓜时，我们会进行一系列的判断：先看它是什么颜色，如果是青绿色，再看它的根蒂是什么形 … Notebook 02 02. 如何选择最优的划分属性前面提到，要构建决策树，最关键的问题是如何找到最优的划分属性，常见的划分方法有三种： 信息增益 （information gain），代表算法为 ID3 增益率 （gain ratio），代表算法为 C4.5 … Notebook 03 03. 决策树算法实战TODO Notebook 04 04. 决策树的剪枝策略在决策树学习中，为了尽可能正确地分类训练样本，节点划分过程将不断重复，有时会造成决策树分支过多，从而导致过拟合。譬如下面这样的例子，通过 sklearn 的 datasets.make moons 生成的样本： 我们使用 … Notebook 05 05. 连续值和缺失值处理连续属性 如果某个属性的取值是连续值，不能直接使用连续属性的可取值来对节点进行划分，通常采用 二分法 （bi partition）对连续属性进行处理。 假设数据集 D 的 a 属性为连续属性，它有 n 个不同的取值， … Notebook 06 06. 多变量决策树决策树的决策边界有一个很明显的特点： 轴平行 （axis parallel），也就是说它的分类边界由若干个与坐标轴平行的分段组成，比如下图中的决策树和相应的决策边界： 如果决策边界不是轴平行的，而是使用斜的划分边界，不仅 … Notebook