来源:原始 Jupyter Notebook。内容已转换为网页阅读格式;下载原文件。
随机森林(Random Forest,简称 RF)是 Bagging 的一个扩展变体,它是在以决策树为基学习器构建 Bagging 集成的基础上,进一步在决策树的训练过程中引入了随机属性选择。传统决策树在选择划分属性时是在当前节点的属性集合中(假设有 个属性)选择一个最优属性,而在 RF 中,会先从该节点的属性集合中随机选择 个,再从这 个属性中选择一个最优属性。推荐 。
在 Bagging 算法中,我们通过对训练集的样本进行随机采样从而实现了基学习器的多样性,这被称为样本扰动;随机森林对其作了一点改进,在样本扰动的基础上,还加上了属性扰动,这样得到的基学习器更具多样性,最终集成的模型也具有更好的泛化性能。