一、基本内容
1.基本流程
决策树的生成过程是一个递归过程，有三种情形会导致递归返回
（1）当前节点包含的yangben全属于同一类别，无需划分；
（2）当前属性集为空，或是所有yangben在所有属性上的取值相同，无法划分；
（3）当前结点包含的yangben集合为空，不能划分
2.划分选择
2.1信息增益：对可取值数目较多的属性有所偏好
2.2增益率:对可取值数目较少的属性有所偏好 C4.5算法启发式
2.3基尼指数：CART决策树
3.剪枝处理:决策树学习算法中对付过拟合的主要手段
3.1预剪枝：降低过拟合风险，减少决策树的训练时间开销和测试时间开销，有欠拟合风险
3.2后剪枝：欠拟合风险很小，泛化性能往往由于预剪枝，但是训练时间开销很大
4.连续与缺失值
4.1连续值处理 C4.5决策树算法
4.2缺失值处理
C4.5 解决两个问题(1)如何在属性值缺失的情况下进行划分属性选择？
（2）给定划分属性，若yangben在该属性上的值缺失，如何对yangben进行划分？
5.多变量决策树
决策树自己学习的时候写了一些代码，有点还没有完成。以后有时间会补上
https://github.com/makang101/machinelearning/tree/master/chapter4decisionTree
二、课后习题
已为社区贡献9条内容
所有评论(0)