求助：在回归分析中，怎样处理多重共线性？

vif<=3吧，俺的领导是这样说的

变量不多，逐步回归

多重共线性的判别：认识多重检验性的方法有多种，其中最简单的一种办法是计算各对自变量之间的相关关系，并对其进行显著性检验。如果有一个或多个相关系数是显著的，就表示模型中所有的自变量之间相关，因而存在多重共线性。如果出现以下几种情况①模型中的各对自变量之间显著相关②当模型的F检验显著时，几乎所有回归系数βi的T检验不显著。③回归的正负号与预期相反。
多重共线性的处理：在建立多元线性分析的时间，不要引入太多的自变量，变量的选择原则：将一个一个的自变量引入回归模型应使得残差的平方和减少，变量选择的办法1向前选择2向后剔除3逐步回归

1# huangjiewu

可以将一个或多个相关的自变量剔除，若果不剔除那就应该对所有的变量系数进行系统的t检验，避免单个的检验，并且把应变量的推断值限定在自变量的样本值范围。但是最好的是在建立回归之前根据相关系数检验，1.向前选择，2.向后剔除，3.逐步回归，选择变量，避免共线性的应变量同时进入回归方程。

思路：优先选择对R2贡献大的变量进入方程
方法：1.向前选择；2.向后剔除；3.逐步回归。
实现方法：
1、（R软件）step(t)，其中t为多元回归方程，即可知道各变量是否可以进入回归方程，即无明显的共线性
2、可以通过统计量，如容忍度（<0.3）、方差膨胀因子（>10）、特征根（差距十分大，最大远大于其他特征值）、条件系数、条件指数（>=30）等来判断。如果满足上诉括号内的特征，即说明具有多重共线性；
3、在SPSS里面，如果VIF和Tolerance满足具有多重共线性条件，即只能取其一进入方程，然后重新进行线性规划分析。

多重共线性问题一般处理方法：
（1）将一个或者多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关。
（2）如果要在模型中保留所有的自变量，那么就：
①避免根据t统计量对单个参数β进行检验。
②对因变量y值的推断（估计或预测）限定在自变量样本值的范围内。

luijb 发表于 2008-5-6 22:32
膨胀因子大于10就说明共线性，采用逐步回归法

膨胀因子大于3就说明有共线性了吧？用REG过程逐步剔除

建议用PLS（偏最小二乘回归），它得到的是有偏估计，但方差比无偏估计小
从实践上看，效果更佳，论坛上有王惠文《偏最小二乘回归方法及其应用》，对共线性问题做了详细的分析，推荐学习

proc reg data=gangjb;
model y=x1-x7/ selection=stepsize;
run;
--------------------------

               Parameter     Standard
                 Variable      Estimate        Error   Type II SS  F Value  Pr > F

                 Intercept    -13.84382      3.37981     10.12502    16.78  0.0027
                 x4             0.01323      0.00591      3.01821     5.00  0.0522
                 x5             0.00504      0.00115     11.65350    19.31  0.0017

proc princomp data=gangjb out=og prefix=z;
var x1-x7;
run;
******************************************************************************************；
**                             Eigenvalues of the Correlation Matrix                            ；
**                           Eigenvalue    Difference    Proportion    Cumulative           ；
**                      1    5.93069754    4.94939945        0.8472        0.8472         ；
**                      2    0.98129809    0.92179391        0.1402        0.9874         ；
******************************************************************************************；

proc reg data=og;
model y=z1 z2;run;
**************************************************************************************************；
**                                   Parameter Estimates                                                     ;
**      Parameter       Standard    Variable     DF       Estimate          Error    t Value    Pr > |t|     ;
**               Intercept     1       26.90000        0.28306      95.03      <.0001               ;
**                z1            1        6.48597        0.12140      53.43      <.0001                 ;
**               z2            1       -2.71494        0.29845      -9.10      <.0001                   ;
**************************************************************************************************；