R语言做多元回归遇到多重共线性

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我们要对一个评分数据进行分析，要求得到X1，X2，X3，X4，X5这五项评分与综合评分之间的关系，所以想用多元回归做，我用X1，X2，X3，X4，X5做自变量，综合评分做因变量进行多元线性回归，不过后来发现有多重共线性，所以改用岭回归。
     可是岭回归之后该如何对模型进行检验？另外除了岭回归还能怎么去做？请各位高手帮帮忙，告诉我一下具体的步骤，谢谢各位了。
以下是我使用的数据： 相关数据.xlsx (10.25 KB)

2016-2-27 17:08:14 上传

我使用的数据

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：多重共线性 多元回归 多重共线 R语言 共线性 因变量 自变量 模型 如何

tzy3169 发表于 2016-2-27 17:16
我们要对一个评分数据进行分析，要求得到X1，X2，X3，X4，X5这五项评分与综合评分之间的关系，所以想 ...

剔除一个变量，或者用主成分回归

tzy3169 发表于 2016-2-27 17:16
我们要对一个评分数据进行分析，要求得到X1，X2，X3，X4，X5这五项评分与综合评分之间的关系，所以想 ...

先占个楼，明天回答

506232839 发表于 2016-2-27 18:58
剔除一个变量，或者用主成分回归

我剔除过，不过系数依然不显著而且无法用做出的系数去解释模形，但是模形似合的很好。之后才发现有多重共线性。

506232839 发表于 2016-2-27 18:58
剔除一个变量，或者用主成分回归

使用主成分时只有一个特征值大于1。剩下的都小于0.5

tzy3169 发表于 2016-2-28 13:35
使用主成分时只有一个特征值大于1。剩下的都小于0.5

要的就是这样结果，再算主成分得分在进行运算啊

506232839 发表于 2016-2-28 15:05
要的就是这样结果，再算主成分得分在进行运算啊

Importance of components:
                          Comp.1    Comp.2     Comp.3     Comp.4      Comp.5
Standard deviation     1.9626660 0.7867633 0.63955224 0.28630476 0.194803252
Proportion of Variance 0.7704115 0.1237993 0.08180541 0.01639408 0.007589661
Cumulative Proportion  0.7704115 0.8942108 0.97601626 0.99241034 1.000000000
这是我主成分分析的结果，我这个应该是只有一个主成分是吧？

506232839 发表于 2016-2-28 15:05
要的就是这样结果，再算主成分得分在进行运算啊

Importance of components:
                          Comp.1    Comp.2     Comp.3     Comp.4      Comp.5
Standard deviation     1.9626660 0.7867633 0.63955224 0.28630476 0.194803252
Proportion of Variance 0.7704115 0.1237993 0.08180541 0.01639408 0.007589661
Cumulative Proportion  0.7704115 0.8942108 0.97601626 0.99241034 1.000000000
这是我主成分分析的结果，做回归时我只用主成分1是吧？

506232839 发表于 2016-2-28 15:05
要的就是这样结果，再算主成分得分在进行运算啊

Importance of components:
                          Comp.1    Comp.2     Comp.3     Comp.4      Comp.5
Standard deviation     1.9626660 0.7867633 0.63955224 0.28630476 0.194803252
Proportion of Variance 0.7704115 0.1237993 0.08180541 0.01639408 0.007589661
Cumulative Proportion  0.7704115 0.8942108 0.97601626 0.99241034 1.000000000
这是我主成分分析的结果，做回归时应该是只用主成分1是吧？

506232839 发表于 2016-2-28 15:05
要的就是这样结果，再算主成分得分在进行运算啊

Importance of components:
                          Comp.1    Comp.2    Comp.3     Comp.4     Comp.5
Standard deviation     2.0751580 0.8122145 0.7706381 0.58291741 0.26332268
Proportion of Variance 0.7177134 0.1099487 0.0989805 0.05663212 0.01155647
Cumulative Proportion  0.7177134 0.8276622 0.9266427 0.98327479 0.99483126
                            Comp.6
Standard deviation     0.176103526
Proportion of Variance 0.005168742
Cumulative Proportion  1.000000000

Loadings:
         Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Comp.6
X1       -0.381  0.572 -0.149 -0.650 -0.112  0.267
X2       -0.409  0.267  0.560  0.285 -0.491 -0.355
X3       -0.452                0.545  0.220  0.670
X4       -0.383 -0.427 -0.620        -0.525 -0.100
X5       -0.465        -0.211         0.634 -0.572
综合评分 -0.348 -0.641  0.485 -0.443  0.143  0.129
这是我主成分分析的结果，我选取了一个主成分做回归，
Call:
lm(formula = 综合评分 ~ Z1, data = a1)

Residuals:
     Min       1Q   Median       3Q      Max
-0.14338 -0.08760 -0.04388  0.05203  0.29141

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept)  4.62671    0.03784 122.279   <2e-16 ***
Z1          -0.04864    0.01928  -2.523   0.0302 *  
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.1311 on 10 degrees of freedom
Multiple R-squared:  0.389,        Adjusted R-squared:  0.3279
F-statistic: 6.366 on 1 and 10 DF,  p-value: 0.03022
这是我回归的结果，模型的拟合度低了好多，之前有0.98.现在只有不到0.4，请问这样的模型可以用吗？