0

集成学习——Bagging与Random Forest

前言

集成学习是一类算法的集合,不但包括著名的AdaBoost,还囊括提升树,梯度提升,Bagging以及Random Forest等。本文将介绍Bagging(装袋)与Random Forest(随机森林)。

要得到泛化性能强的集成,应该设法让集成中的基学习器尽可能具有较大的差异。给定一个训练数据集,我们采用相互有交叠的采样子集,每个采用子集训练得到一个集学习器,这样保证了集学习器能相互“独立”并且有比较好的学习性能。

本文主要内容为

  1. Bagging
  2. Random Forest

Continue Reading

0

决策树桩Decision stump

本文的内容来自于Decision stump维基百科的翻译

决策树桩由Wayne Iba和Pat Langley在1992年的ICML会议的论文上提出。

决策树桩(Decision Stump)是一种拥有一层决策树构成的机器学习模型,也就是说它是一种由一个内部节点(根节点)及与之直接相连的叶节点组成的决策树。决策树桩基于单一输入特征的值来做预测。决策树桩也叫1-ruels. Continue Reading