ID3局限主要源于局部最优化条件,即信息增益的计算方法,其局限性主要有以下几点:
分支度越高(分类水平越多)的离散变量往往子节点的总信息熵会更小,ID3是按照某一列进行切分,有一些列的分类可能不会对我需
要的结果有足够好的指示。极限情况下取ID作为切分字段,每个分类的纯度都是100%,因此这样的分类方式是没有效益的
不能直接处理连续型变量,若要使用ID3处理连续型变量,则首先需要对连续变量进行离散化
对缺失值较为敏感,使用ID3之前需要提前对缺失值进行处理
没有剪枝的设置,容易导致过拟合,即在训练集上表现很好,测试集上表现很差