为什么OLS得到的残差之和是0呢?

回复ls的sheepmiemie：
以一元线性回归为例：
方程的截距项a=Σy/n+bΣx/n
等价于Σy=na+bΣx
等价于Σ（y-a-bx）＝0
等价于Σe＝0。
怎么说“您这个等于没写”？
实际上用MM法，正规方差的两个样本矩条件相当于：
Σe＝Σ（y-a-bx）＝0
Σex＝Σ（y-a-bx）x＝0
这样得出的a、b－－－－－

LS兄台，您最后所说的两矩个条件似乎应当是：Ee=0，Eex=0；

您之前的推理中的y，a，b分别指什么？真值？估计值？

a=Σy/n+bΣx/n 此式子一出就有默认 Σe=0 的嫌疑……更何况整个推导中您并没有涉及估计量的形式，而这一结论只确保在使用OLS时成立……

[此贴子已经被作者于2008-8-25 17:31:40编辑过]

楼上的学兄，我的理解如下：
1.总体距条件Eu=0（随机误差的第一个古典假定：零均值），对应的样本距条件Σe/n＝0，即Σe＝0，而不是Ee=0。同理是Σex=0，而不是Eex=0。
2.公式中a，b都是待定系数，满足Σ（y-a-bx）＝0的a^=Σy/n-b^Σx/n是她的估计值(前面没有表达清楚，抱歉！！！！).
3.在OLSE中，a^=Σy/n+b^Σx/n 是通过残差平方和对a一阶导数为零为条件推导出来的估计量，并不是默认 Σe=0 ，但肯定能够保证 Σe=0。（当然，在MM中，他也是矩条件Eu=0的推论，说她是默认也无不可）
4.对于线性方程的截距和斜率的参数估计，OLS、ML、MM完全相同。例如，Likehood最大等价于RSS最小，与MM的对应前面已经说了。因此不是如阁下所说“而这一结论只确保在使用OLS时成立……”
欢迎指正！共同进步！

嗯，我错了，a^=Σy/n-b^Σx/n确实用到了“OLS估计”这一条件……

LS的证明的确比我简省与直观许多，诚挚拜伏。

最小二乘法（Ordinary Least Squares，简称OLS）在进行线性回归分析时，目标是最小化误差平方和。设线性模型为 \(y = \beta_0 + \beta_1x + e\)，其中 \(e\) 是残差。

为了最小化残差平方和 \(\sum_{i=1}^{n}(y_i - (\beta_0 + \beta_1x_i))^2\)，我们需要对 \(\beta_0\) 和 \(\beta_1\) 求偏导数，并令它们等于 0 来找到最小值点。但是残差和为 0 的直观解释是OLS拟合线通过数据的平均点\((\bar{x}, \bar{y})\)。

证明如下：

对于模型 \(y_i = \beta_0 + \beta_1x_i + e_i\)，假设我们已经找到了最小化平方误差的参数估计值 \(\hat{\beta}_0\) 和 \(\hat{\beta}_1\)。残差定义为 \(e_i = y_i - (\hat{\beta}_0 + \hat{\beta}_1x_i)\)。

要证明OLS得到的残差之和是 0，即 \(\sum_{i=1}^{n}e_i = 0\)。

根据模型，
\[
y_i = \hat{\beta}_0 + \hat{\beta}_1x_i + e_i
\]

两边同时求和，得：
\[
\sum_{i=1}^{n}y_i = n\hat{\beta}_0 + \hat{\beta}_1\sum_{i=1}^{n}x_i + \sum_{i=1}^{n}e_i
\]

由于拟合线通过点 \((\bar{x}, \bar{y})\)，即 \(\hat{\beta}_0 + \hat{\beta}_1\bar{x} = \bar{y}\)，其中 \(\bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_i\) 和 \(\bar{y} = \frac{1}{n}\sum_{i=1}^{n}y_i\)。

代入上式得：
\[
n\bar{y} = n\hat{\beta}_0 + \hat{\beta}_1n\bar{x} + \sum_{i=1}^{n}e_i
\]

由拟合线通过点 \((\bar{x}, \bar{y})\) 的性质，上式化简为：
\[
n\bar{y} = n(\hat{\beta}_0 + \hat{\beta}_1\bar{x}) + \sum_{i=1}^{n}e_i
\]

即
\[
n\bar{y} = n\bar{y} + \sum_{i=1}^{n}e_i
\]

从而可以推出：
\[
\sum_{i=1}^{n}e_i = 0
\]

这表明OLS得到的残差之和确实是 0。这个结果也暗示了，拟合线在数据点平均值的位置上是完美的平衡。

因此，在OLS回归中，残差之和为零是一个自然的结果，也是OLS估计的一个重要性质。

此文本由CAIE学术大模型生成，添加下方二维码，优先体验功能试用