发帖
雷达卡
作业题：特征选择的方法有哪些？
特征选择的方法有：Filter过滤法、Embedded嵌入法、Wrapper包装法
过滤法：包含方差过滤和相关性过滤（基于卡方过滤，F检验和互信息法），通常用作预处理步骤，特征选择完全独立于任何机器学习算法。它是根据各种统计检验中的分数以及相关性的各项指标来选择特征。
嵌入法：是一种让算法自己决定是使用哪些特征的方法，即特征选择和算法训练同时进行。在使用嵌入法时，我们先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征，这些权值系数往往代表了特征对于模型的某些贡献或者某种重要性，比如决策树和树的集成模型中的feature_importances_属性，可以列出各个特征对树的建立的贡献，我们就可以基于这种贡献的评估，找出对模型建立最有用的特征。因此相比于过滤法，嵌入法的结果会更加精确到模型的效用本身，对于提高模型效力有更好的结果。并且，由于考虑特征对模型的贡献，因此无关的特征和无区分度的特征都会因为缺乏对模型的贡献而被删掉。
包装法：也是一个特征选择和训练同时进行的方法，与嵌入法十分相似，它也是依赖于算法自身的选择，比如coef_属性或者feature_importances_属性来完成特征选择。但不同的是我们往往使用一个目标函数作为黑盒来帮助我们选择特征，而不是自己输入某个指标或者统计量的阈值。包装法在初始特征集上训练评估器，并通过coef_属性或者feature_importances_属性获得每个特征值的重要性。然后，从当前的一组特征值中修剪最不重要的特征。在修剪的集合上递归的重复该过程，直到最终达到所需要数量的要选择的特征。区别于过滤法和嵌入法的一次训练解决所有问题，包装法要使用特征子集进行多次训练，因此它所需要的计算成本是最高的。
京公网安备 11010802022788号
