0

决策树——ID3和C4.5

前言

本文介绍的是决策树算法,涉及的算法内容是ID3和C4.5,CART算法在决策树(2)中会介绍,本文的知识点是李航博士《统计学习》第5章和周志华老师的《机器学习》的知识总结,文末会给出ID3算法的Python版本的代码,改代码修改自Peter Harrington的《机器学习实战》,仅供学习参考。文章的内容编排如下:

  1. 决策树简介
  2. 决策树的特征选择
  3. 决策树生成
    1. ID3算法
    2. C4.5算法
  4. 决策树剪枝
  5. ID3算法的Python代码
  6. 总结

Continue Reading

0

机器学习读书笔记

前言

我在大概大二下学期的时候就开始学习机器学习了,那个时候专业是电子商务,因为参与了学院的SRP项目,有幸看了网易公开课上Andrew Ng的斯坦福机器学习公开课,刚开始学的第一遍几乎不知道他在讲什么,自己又完全不会编程,也无法自己实现机器学习算法,也不知道怎么去学习,就不了了之。上了大三选修了数据挖掘课程,明白了大家常说的数据挖掘十大算法,开始用R语言写程序,那个时候对程序也是一知半解,再到后来由于没有项目,加上学习了那么久的数据挖掘和机器学习自己还是没有弄出点成绩,因此内心很受挫,决定考个计算机的研究生,继续学习机器学习,现在到了研二上学期了,走过了研一的那些坎坷,做了很多脏活累活,现在打算开始整理机器学习以及自己写的部分Python代码,作为自己对这门技术的热爱和坚持的一种表达吧! Continue Reading

0

决策树桩Decision stump

本文的内容来自于Decision stump维基百科的翻译

决策树桩由Wayne Iba和Pat Langley在1992年的ICML会议的论文上提出。

决策树桩(Decision Stump)是一种拥有一层决策树构成的机器学习模型,也就是说它是一种由一个内部节点(根节点)及与之直接相连的叶节点组成的决策树。决策树桩基于单一输入特征的值来做预测。决策树桩也叫1-ruels. Continue Reading

0

关于Python中函数参数默认值表达式误用的问题

先看下面这个代码

Continue Reading