Logistic回归，算法不聚合和拟合概率为0或1

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

小白一枚，程序比较低能……放在最后了。
大概思路是：自变量有11个，都是数值型的。1值的样本是固定的，从900个0值中抽取等量的数据进行逻辑回归。因为样本量比较小，所以做了100次重复抽取，计算回归系数的95%置信区间和显著次数。


然后好几个样本就警告了：

Warning messages:
1: glm.fit:算法没有聚合
2: glm.fit:拟合機率算出来是数值零或一

结果就是回归结果特别飘忽不定，无法得到稳定的回归系数TT

怀疑是自变量多重共线性，计算了kappa值，如下图。
数据都不怎么好，这是抽样100次的结果，只有samp3的均值在100以下，而高亮的是回归后出现多次不聚合或P=1的样本，好像没有直接关系啊，kappa值高的也有能聚合的，kappa值低的也有不聚合的><
另外，查到说共线性可以用step逐步回归解决的，但是尝试后发现结果还是不聚合啊吐血……


所以想问一下:
1、出现不聚合和拟合概率为0或1的情况，原因是什么？
2、多重共线性应当如何处理？扩大样本量是不现实了，如何判断哪个因子共线性高从而剔除之？
3、感觉11个因子太多了，如何进行模型的筛选和优化？

跪谢！


附上低能程序（好羞耻><）

1. for (i in 1:time)  
   
2. {  
   
3.   j <- sample(1:n0,n1,replace = TRUE)
   
4.   samp <- samp0[j,]
   
5.   data <- rbind(samp1,samp)
   
6.   y <- data$y
   
7.   x1 <- data$lai1
   
8.   x2 <- data$lai2
   
9.   x3 <- data$zhu
   
10.   x4 <- data$yan
    
11.   x5 <- data$density
    
12.   x6 <- data$H
    
13.   x7 <- data$h
    
14.   x8 <- data$K
    
15.   x9 <- data$N
    
16.   x10 <- data$P
    
17.   x11 <- data$organics
    
18.   logit <- glm(y~x1+x2+x3+x4+x5+x6+x7+x8+x9+x10+x11,family=binomial)
    
19.   
    
20.   for (k in 1:11)
    
21.   {
    
22.     r[i,k] <- logit$coefficients[k+1]
    
23.     P <- summary(logit)$coefficients[k+1,4]
    
24.     if (P<0.01){
    
25.       P.001[k] <- P.001[k]+1
    
26.     }else{
    
27.       if(P<0.05){
    
28.         P.005[k] <- P.005[k]+1
    
29.       }else{
    
30.         P.NO[k] <- P.NO[k]+1
    
31.       }  
    
32.     }  
    
33.   }
    
34.   AIC <- c(AIC,AIC(logit))
    
35.   BIC <- c(BIC,BIC(logit))
    
36.   pR2 <- c(pR2,pR2(logit)[4])
    
37. }

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：logistic回归 logistic logisti ogistic logist 置信区间 自变量 kappa 程序 样本

看连接https://bbs.pinggu.org/thread-3662074-1-1.html

as分发给 发表于 2015-4-13 17:39
看连接https://bbs.pinggu.org/thread-3662074-1-1.html

唔，是不是复制错链接了……

https://bbs.pinggu.org/forum.php?mod=viewthread&tid=3651818&page=1#pid29530110

as分发给 发表于 2015-4-13 18:02
https://bbs.pinggu.org/forum.php?mod=viewthread&tid=3651818&page=1#pid29530110

买不起

求解答><

https://blog.csdn.net/csqazwsxedc/article/details/52033506
解释的很清楚