多个单变量回归和一个多变量回归相等吗？

假设我有数据A、B、C。方法一：我先用A作为因变量对B进行单变量回归，得到残差值E，然后我用残差值E作为因变量对C进行单变量回归得到进一步的残差值E2。
方法二：用A作为因变量直接对B、C进行两变量的回归，得到残差EE。
我的问题是两次单变量回归得到的残差值E2和一次两变量回归的残差值EE是一样的吗？请各位帮忙解答，谢谢！

cooper56 发表于 2017-8-13 15:25
能解释一下吗，按我的理解您这边的残差E和F都是和B不相关的，这两个残差进行回归会是完全线性关系，没有残 ...

多元回归对系数的理解是ceteris paribus，在控制B效应之后的回归。由单变量回归建立多变量回归的时候方程两边都要partial out掉B的效应。可以用数据验证我的这两种方法得到的C的系数和残差都是一样的

1. dat <- as.data.frame(a = rnorm(100),
   
2.                      b = rnorm(100),
   
3.                      c = rnorm(100))
   
4. 
   
5. reg11 <- lm(a~b, dat)
   
6. dat$r1 <- reg11$residuals
   
7. reg12 <- lm(c~b, dat)
   
8. dat$r2 <- reg12$residuals
   
9. reg13 <- lm(r1~r2, dat)
   
10. 
    
11. reg2 <- lm(a~b+c, dat)
    
12. 
    
13. ## check coef
    
14. reg13$coefficients['r2']
    
15. reg2$coefficients['c']
    
16. 
    
17. ## check residual
    
18. resi <-data.frame(r1 = reg13$residuals,
    
19.                   r2 = reg2$residuals)
    
20. View(resi)

复制代码

不相等。对方法1修改后相等
（1）用A作为因变量对B进行单变量回归，得到残差值E；
（2）用C作为因变量对B进行单变量回归，得到残差值F；
（3）用E作为因变量对F进行单变量回归

deem 发表于 2017-8-13 14:59
不相等。对方法1修改后相等
（1）用A作为因变量对B进行单变量回归，得到残差值E；
（2）用C作为因变量对B ...

能解释一下吗，按我的理解您这边的残差E和F都是和B不相关的，这两个残差进行回归会是完全线性关系，没有残差项，怎么能和方法二的残差相比呢？