https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/Recent content in 集成学习 on Colommar BlogHugozh-CNWed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/01-%E4%BB%80%E4%B9%88%E6%98%AF%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/01-%E4%BB%80%E4%B9%88%E6%98%AF%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/所谓“三个臭皮蛋，顶一个诸葛亮”， 集成学习 （ensemble learning）就是使用类似的思想，通过构建并结合多个学习器来完成学习任务，有时也叫做 多分类器系统 （multi classifier system）或 基于委员会的学习 （committee based learning）等。 从集成学习的定义可以看出，集成学习的关键https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/02-boosting-%E7%AE%97%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/02-boosting-%E7%AE%97%E6%B3%95/Boosting 算法的工作机制如下：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得之前错误分类的样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，直到基学习器数目达到预设的 T，最终将这 T 个基学习器进行加权结合。 Boosting 的代表算法是 AdaBoost。https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/03-bagging-%E7%AE%97%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/03-bagging-%E7%AE%97%E6%B3%95/集成学习中个体学习器应尽可能的相互独立，要设法使基学习器尽可能具有较大差异。一种最简单的做法是对训练样本进行采样，产生若干个不同的子集，然后基于每一个子集训练出一个基学习器，这样得到的基学习器由于训练样本不同，他们之间有希望能得到比较大的差异。但是如果要保证每个子集样本都不同，那么每个子集的训练数据也会比较少，这样得到的基学习器性能就会比https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/04-%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/04-%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97/随机森林 （Random Forest，简称 RF）是 Bagging 的一个扩展变体，它是在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。传统决策树在选择划分属性时是在当前节点的属性集合中（假设有 个属性）选择一个最优属性，而在 RF 中，会先从该节点的属性集合中随机选择 个，再从这https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/05-%E4%B8%AA%E4%BD%93%E5%AD%A6%E4%B9%A0%E5%99%A8%E7%9A%84%E5%A4%9A%E6%A0%B7%E6%80%A7/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0/05-%E4%B8%AA%E4%BD%93%E5%AD%A6%E4%B9%A0%E5%99%A8%E7%9A%84%E5%A4%9A%E6%A0%B7%E6%80%A7/误差 分歧分解 个体学习器准确性越高，多样性越大，则集成越好。 多样性度量 很很多方法用于估算个体学习器的多样化程度： 不合度量 相关系数 统计量 统计量 这些都是 成对型 （pairwise）多样性度量，可以通过 误差图 绘制出来。 如何提高多样性？ 数据样本扰动 输入属性扰动 输出表示扰动 算法参数扰动