文本分析用randomforest的importance筛选变量后，错误率上升。

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

做的是文本分析，第一次做的有3000+个变量，结果如下

OOB estimate of  error rate: 27.92%
Confusion matrix:
      多 非多 class.error
多   183   81   0.3068182
非多  77  225   0.2549669

第一次做好后用“多”和“非多”类importance排序，各取前300，去重，去掉无意义的词语（如一些英文字母、数字等，符号等，stop word没有包含到的），结果却成了下面这样。OOB提高不少。

OOB estimate of  error rate: 32.51%
Confusion matrix:
      多 非多 class.error
多   144  120   0.4545455
非多  64  238   0.2119205

请问这是怎么回事呢？我的操作上有没有什么问题？非常感谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：randomForest importance Forest random import matrix error

importance排序，与变量“相关性”，还是差距很远的！用importance排序筛选变量，尤其只用一次计算的结果，可能失去对依变量相关性高的自变量，是分类结果变差。用randomForest 中的importance排序筛选变量，是一个很热的研究课题，百度学术 可查到一些！！！

jgchen1966 发表于 2016-4-30 01:09
importance排序，与变量“相关性”，还是差距很远的！用importance排序筛选变量，尤其只用一次计算的结果， ...

不好意思我是个小白……我搜到了random forest importance feature selection 这方面的，您说的是这个吗

caisinong 发表于 2016-4-30 14:35
不好意思我是个小白……我搜到了random forest importance feature selection 这方面的，您说的是这个吗

OK   randomforest  feature selection

jgchen1966 发表于 2016-5-1 00:01
OK   randomforest  feature selection

谢谢！顺藤摸瓜，恶补了许多知识