为什么线性回归增加解释变量，残差平方和会减少？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

为什么线性回归时向模型增加解释变量，残差平方和会减少（至少不会增加）？
寻求严格的证明过程。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

看看格林的《计量经济分析》里面有证明或者 洪永淼《高级计量经济学》

我觉得这个解释得挺好的

https://stats.stackexchange.com/questions/306267/is-mse-decreasing-with-increasing-number-of-explanatory-variables

这个是我思考后的内容，问题中“残差平方和减少”的描述是不谨慎的。

owenqi 发表于 2019-11-14 03:18
我觉得这个解释得挺好的

谢谢，我看了那个页面的问题和回答，但不能理解第一个回答中为什么说“X是orthogonalized的”。

北院中书 发表于 2019-11-14 14:14
谢谢，我看了那个页面的问题和回答，但不能理解第一个回答中为什么说“X是orthogonalized的”。

我的理解，这是一个假设条件，但是很合理，你选择的解释变量最好是和其他变量是独立的，不然如果你的这个变量可以用其他的变量去表示，共线性的问题就产生了。