逻辑回归中的特征筛选

R语言小白，问一个迭代循环的问题，请高手帮忙写个程序。

想做一个逻辑回归，特征有很多，100多个，想进行一些特征筛选和降维，尝试了PCA，但是结果没能提高预测效果，因此放弃这种方法。

现在自己想了一个粗暴直接的方法进行特征筛选：
1）将100个特征分别进行单因素建模并测试，也就是单变量分析，提取其中预测效果最好的一个特征，保留下来，比如是var10
2）将第一步中的var10保留，依次加入剩余99个特征形成2个特征的模型，共99个模型，提取其中预测效果最好的一个特征，保留下来，比如var18
3) 将前两步保留的两个变量（var10, var18）保留，依次加入剩余98个特征形成3个特征的模型，找到最好的一个特征
....
依次进行100+99+98+....+3+2+1次循环，从而找到最好的特征组合。

我已经写了部分代码如下，测试数据见附件，请高手帮忙将这个迭代循环写下去。
需求：
1）最终结果生成一个dataframe，有三列，第一列为model 1, mode1 2，表示单变量，二变量，三变量；第二列是特征列表，第三列为评价模型好坏的coverage
2）控制循环，当第n次循环，添加变量不能继续提升模型预测效果时，跳出循环，保留预测效果最好的特征组合。


测试数据，目标变量是xxg，其它为特征，依次筛选

1. #第一步，将xxg按7:3随机分成trainset和testset
   
2. set.seed(2)
   
3. ind<-sample(2,nrow(xxg),replace=T,prob=c(0.7,0.3))
   
4. trainset<-xxg[ind==1,]
   
5. testset<-xxg[ind==2,]
   
6. 
   
7. #xxg_lr<-glm(xxg~age,family = binomial,data=trainset)
   
8. 
   
9. #特征列表存于varlist向量
   
10. varlist<-c("sex","diabetes","age","bmi","hypertension")
    
11. 
    
12. #第一轮循环
    
13. for (i in 1:5){
    
14. xxg_lr<-glm(xxg~eval(parse(text=varlist[i])),family = binomial,data=trainset) #Logistic regression
    
15. #模型测试，模型用于testset后，使用模型输出P值Top 30%作为切点，得出此切点以上的人群中目标变量xxg=1占
    
16. #全部人群xxg=1的百分比，Coverage，此输出变量作为验证模型好环的关键变量
    
17. real<-testset$xxg #测试目标变量真实值
    
18. predict_lr<-predict(xxg_lr,type="response",newdata=testset) #预测目标变量P值
    
19. rr<-cbind(real,predict_lr)
    
20. result<-as.data.frame(rr)
    
21. result<-result[order(result$predict_lr,decreasing=T),]
    
22. n<-length(result$real)
    
23. cover<-sum(result$real[1:ceiling(0.3*n)])/sum(result$real) #选择模型Top 30%，求coverage
    
24. eval(parse(text=paste(varlist[i],"<-cover",sep=""))) #将coverage赋值给另一变量
    
25. }
    
26. 
    
27. model_1<-rbind(sex,diabetes,age,bmi,hypertension) #第一输循环得出hypertension预测效果最好，用于下一循环
    
28. 
    
29. #第二轮循环
    
30. varlist2<-c("sex","diabetes","age","bmi")
    
31. for (i in 1:4){
    
32.   xxg_lr<-glm(xxg~hypertension+eval(parse(text=varlist2[i])),family = binomial,data=trainset)
    
33.   real<-testset$xxg
    
34.   predict_lr<-predict(xxg_lr,type="response",newdata=testset)
    
35.   rr<-cbind(real,predict_lr)
    
36.   result<-as.data.frame(rr)
    
37.   result<-result[order(result$predict_lr,decreasing=T),]
    
38.   n<-length(result$real)
    
39.   cover<-sum(result$real[1:ceiling(0.3*n)])/sum(result$real)
    
40.   eval(parse(text=paste("hypertension_",varlist[i],"<-cover",sep="")))
    
41. }
    
42. model_2<-rbind(hypertension_age,hypertension_bmi,hypertension_sex,hypertension_diabetes)
    
43. #第二循环得出diabetes预测效果最好，用于下一循环
    
44. 
    
45. #第三轮循环，添加diabetes
    
46. #########

复制代码

xxg.rar (48.42 KB) 本附件包括：

• xxg.Rdata

2016-5-4 15:19:03 上传

测试数据

嵌入的代码不知道会不会被改变，我这里再发一遍
r logistic.txt (1.97 KB)

2016-5-4 15:27:41 上传

R code

有点意思。按照相似的逻辑，可以把按预测效果下降最慢的方向将100个变量逐步删掉，保留下来的变量和你的做法选取的变量会一样吗?

jinkelazzz 发表于 2016-5-4 15:37
有点意思。按照相似的逻辑，可以把按预测效果下降最慢的方向将100个变量逐步删掉，保留下来的变量和你的做法 ...

这分别是向前筛选和向后筛选的方法, forward, backward，结果应该是不一样的。

Imasasor 发表于 2016-5-4 15:38
这分别是向前筛选和向后筛选的方法, forward, backward，结果应该是不一样的。

如果假设存在最优解min（AIC）那么哪种选法更接近呢？ 有没有严格的好坏？或在某种条件下有严格的好坏？

看看 ?step