0

决策树——ID3和C4.5

前言

本文介绍的是决策树算法,涉及的算法内容是ID3和C4.5,CART算法在决策树(2)中会介绍,本文的知识点是李航博士《统计学习》第5章和周志华老师的《机器学习》的知识总结,文末会给出ID3算法的Python版本的代码,改代码修改自Peter Harrington的《机器学习实战》,仅供学习参考。文章的内容编排如下:

  1. 决策树简介
  2. 决策树的特征选择
  3. 决策树生成
    1. ID3算法
    2. C4.5算法
  4. 决策树剪枝
  5. ID3算法的Python代码
  6. 总结

Continue Reading

0

决策树桩Decision stump

本文的内容来自于Decision stump维基百科的翻译

决策树桩由Wayne Iba和Pat Langley在1992年的ICML会议的论文上提出。

决策树桩(Decision Stump)是一种拥有一层决策树构成的机器学习模型,也就是说它是一种由一个内部节点(根节点)及与之直接相连的叶节点组成的决策树。决策树桩基于单一输入特征的值来做预测。决策树桩也叫1-ruels. Continue Reading