https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/Recent content in 决策树 on Colommar BlogHugozh-CNWed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/01-%E5%86%B3%E7%AD%96%E6%A0%91%E7%AE%97%E6%B3%95%E6%A6%82%E8%BF%B0/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/01-%E5%86%B3%E7%AD%96%E6%A0%91%E7%AE%97%E6%B3%95%E6%A6%82%E8%BF%B0/决策树 （decision tree）是一种基于树结构的机器学习算法，它和人类在面临决策问题时的处理机制类似。譬如在判定一个西瓜是不是好瓜时，我们会进行一系列的判断：先看它是什么颜色，如果是青绿色，再看它的根蒂是什么形态，如果是蜷缩的，再听一听它敲起来是什么声音，如果是浊响的，最后得出结论，这是一个好瓜。（周志华, 机器学习, 第4章）https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/02-%E5%A6%82%E4%BD%95%E9%80%89%E6%8B%A9%E6%9C%80%E4%BC%98%E7%9A%84%E5%88%92%E5%88%86%E5%B1%9E%E6%80%A7/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/02-%E5%A6%82%E4%BD%95%E9%80%89%E6%8B%A9%E6%9C%80%E4%BC%98%E7%9A%84%E5%88%92%E5%88%86%E5%B1%9E%E6%80%A7/前面提到，要构建决策树，最关键的问题是如何找到最优的划分属性，常见的划分方法有三种： 信息增益 （information gain），代表算法为 ID3 增益率 （gain ratio），代表算法为 C4.5 基尼指数 （Gini index），代表算法为 CART 信息熵 划分的原则是希望决策树的分支节点包含的样本尽可能属于同一类别，也https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/03-%E5%86%B3%E7%AD%96%E6%A0%91%E7%AE%97%E6%B3%95%E5%AE%9E%E6%88%98/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/03-%E5%86%B3%E7%AD%96%E6%A0%91%E7%AE%97%E6%B3%95%E5%AE%9E%E6%88%98/TODOhttps://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/04-%E5%86%B3%E7%AD%96%E6%A0%91%E7%9A%84%E5%89%AA%E6%9E%9D%E7%AD%96%E7%95%A5/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/04-%E5%86%B3%E7%AD%96%E6%A0%91%E7%9A%84%E5%89%AA%E6%9E%9D%E7%AD%96%E7%95%A5/在决策树学习中，为了尽可能正确地分类训练样本，节点划分过程将不断重复，有时会造成决策树分支过多，从而导致过拟合。譬如下面这样的例子，通过 sklearn 的 datasets.make moons 生成的样本： 我们使用不带任何限制的决策树对样本进行分类，可以看到为了让决策树的每个节点包含的样本纯度达到最高，最极端的情况就是每个节点只包含https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/05-%E8%BF%9E%E7%BB%AD%E5%80%BC%E5%92%8C%E7%BC%BA%E5%A4%B1%E5%80%BC/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/05-%E8%BF%9E%E7%BB%AD%E5%80%BC%E5%92%8C%E7%BC%BA%E5%A4%B1%E5%80%BC/处理连续属性 如果某个属性的取值是连续值，不能直接使用连续属性的可取值来对节点进行划分，通常采用 二分法 （bi partition）对连续属性进行处理。 假设数据集 D 的 a 属性为连续属性，它有 n 个不同的取值，我们将其从小到大排序，得到 ，对每两个相邻的点，我们取其中位点作为候选划分点，这样就得到了 n 1 个候选划分点： 我们https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/06-%E5%A4%9A%E5%8F%98%E9%87%8F%E5%86%B3%E7%AD%96%E6%A0%91/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E5%86%B3%E7%AD%96%E6%A0%91/06-%E5%A4%9A%E5%8F%98%E9%87%8F%E5%86%B3%E7%AD%96%E6%A0%91/决策树的决策边界有一个很明显的特点： 轴平行 （axis parallel），也就是说它的分类边界由若干个与坐标轴平行的分段组成，比如下图中的决策树和相应的决策边界： 如果决策边界不是轴平行的，而是使用斜的划分边界，不仅模型会简单得多，而且泛化性能也能得到提高。