做回归分析自变量太多如何降维

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

最近在做多分类logistic回归，遇到自变量太多的问题（30个自变量），自变量大多都是离散型变量，自变量之间的相关关系也不是很强，没法用主成分分析或因子分析降维，请问这个时候还有没有其他的降维办法？还是说可以不用降维直接做模型？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：回归分析 自变量 logistic回归 logistic ogistic

可以test L1 L2 penalty (LASSO)

or use each of the explainary variable to conduct univariate regression with the dependent variable to detect the relationship between each variable and the 'Y', then make your decision.

试试

1. sysuse auto, clear
   
2. generate weight2 = weight^2
   
3. * Backward selection
   
4. stepwise, pr(.1): logit foreign mpg weight weight2 displ gear turn headroom  price

复制代码

黃河泉 发表于 2017-8-31 15:12
试试

谢谢！您给我的命令是二元logit的逐步回归，请问mlogit的逐步回归命令也是一样的吗？我照着您给的命令把logit换成mlogit做了，结果所有的变量都显示：
note: o.gender dropped because of estimability
note: o.gage dropped because of estimability
note: o.marriage dropped because of estimability
note: o.account dropped because of estimability
（以下省略若干个变量）
begin with full model
p < 0.1000            for all terms in model
一个变量都没有被剔除，这是不是意味着不用删掉任何一个变量？可是这样模型就显得好大呀。

yxw055 发表于 2017-8-31 12:52
可以test L1 L2 penalty (LASSO)

or use each of the explainary variable to conduct univariate regre ...

谢谢！lasso太高深一点了吧，一时半会学不会耶。

yuneiji 发表于 2017-9-1 13:41
谢谢！您给我的命令是二元logit的逐步回归，请问mlogit的逐步回归命令也是一样的吗？我照着您给的命令把l ...

请 help stepwise (似乎不支援 mlogit)!

黃河泉 发表于 2017-9-1 17:26
请 help stepwise (似乎不支援 mlogit)!

确实不支持mlogit

yuneiji 发表于 2017-9-1 20:48
确实不支持mlogit

我最近正在做 multinomial logit 之 Bayesian model averaging。这个还蛮难的，可参考 (R code) https://cran.r-project.org/web/packages/mlogitBMA/index.html。

黃河泉 发表于 2017-9-2 08:24
我最近正在做 multinomial logit 之 Bayesian model averaging。这个还蛮难的，可参考 (R code) https:// ...

好的，去看看，虽然我不一定能看得懂。
我看了几篇文章，感觉用lasso-logistic回归这个思路似乎可行，可是lasso要用到R软件，stata里面只有lars和sivreg这两个算法。我昨天尝试用lars算法筛选变量，降维效果总的来说不算差，但是也剔除了几个有重要解释意义的自变量。
另外，我还想请教您一个问题，请您不要嫌麻烦：mlogit回归的IIA检验，用了hausman方法检验通过了，而Small-siao方法却没通过，请问必须两种方法都通过才算通过IIA检验，还是其中一种通过即可？

yuneiji 发表于 2017-9-2 14:41
好的，去看看，虽然我不一定能看得懂。
我看了几篇文章，感觉用lasso-logistic回归这个思路似乎可行，可 ...

我目前为止只著重解释变量之选择（第一阶段），重点是计算 inverse Mill's ratios 以待入第二阶段。所以我没接触到 IIA （很久以前学的，早就忘了！）。