集成学习

梳理 Boosting、Bagging、随机森林与学习器多样性。

本专题条目

5 篇文章与资料

01 01. 什么是集成学习？所谓“三个臭皮蛋，顶一个诸葛亮”， 集成学习 （ensemble learning）就是使用类似的思想，通过构建并结合多个学习器来完成学习任务，有时也叫做 多分类器系统 （multi classifier system） … Notebook 02 02. Boosting 算法Boosting 算法的工作机制如下：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得之前错误分类的样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，直到基学习器数目 … Notebook 03 03. Bagging 算法集成学习中个体学习器应尽可能的相互独立，要设法使基学习器尽可能具有较大差异。一种最简单的做法是对训练样本进行采样，产生若干个不同的子集，然后基于每一个子集训练出一个基学习器，这样得到的基学习器由于训练样本不同，他们之间有 … Notebook 04 04. 随机森林随机森林 （Random Forest，简称 RF）是 Bagging 的一个扩展变体，它是在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。传统决策树在选择划分属性时 … Notebook 05 05. 个体学习器的多样性误差 分歧分解 个体学习器准确性越高，多样性越大，则集成越好。 多样性度量 很很多方法用于估算个体学习器的多样化程度： 不合度量 相关系数 统计量 统计量 这些都是 成对型 （pairwise）多样性度量，可以通过 误差 … Notebook