这是阅读周志华教授《机器学习》中第四章（决策树）的笔记，因为决策树是比较简单的算法，没有什么数学公式的推导，书中也是简单介绍了下信息熵的定义。
简单总结一下这一章的要点：
这一章介绍决策树，决策树的特点就是每一个节点作为一个选择分支，用于判断某一个样本是否含有这个属性。
决策树是递归定义的，因此属性个数理论上讲可以是无限多个。
在选择某个节点的代表属性时，引入利用信息增益为准则的ID3、C4.5和CART算法，这是三种较为类似的决策树的学习算法。
为了防止过拟合，还对决策树使用了剪枝操作。
处理连续值的方法是离散化后设定划分点。
遇到缺失值时利用无缺失的值进行估计，计算对应的信息增益再进行划分。
决策树的每一个节点还可以考虑不止一个属性，譬如使用多个属性值的线性组合的形式（多变量决策树），即允许存在斜的划分边界。甚至可以在每一个节点放一个感知机（感知机树）。