请问最小二乘法为什么要平方和？

我觉得就是便于数学处理（积分求导）……

因为最小二乘要估计的是E(Y|X），conditional mean，而conditional mean 是最小化population mean squared error的，所以OLS应该最小化sample mean squared error，这样才能得到conditional mean的consistent estimator。中级计量没有涉及这些内容，所以很多人搞不太清楚，学过高级计量，知道OLS的本质以后，就明白了。
事实上，可以最小化残差的绝对值的和而不是平方和，也可以得到一个estimator，但这个estimator估计的就不是conditional mean了，而是conditional median，这就是最简单的quantile regression。中级计量没有哪本书讲这些方法的本质区别，因此造成很多误解。

冬日的碧雪 发表于 2014-4-16 10:41
因为最小二乘要估计的是E(Y|X），conditional mean，而conditional mean 是最小化population mean squared  ...

我不是学计量的，就是想搞清楚一些问题，复习时候不至于磕磕碰碰的。但是请原谅我水平问题，我不懂你说的是什么，在我看来只是数学处理罢了，就是为了得到最小而平方，才有极值嘛，我理解不到计量的意义，但是看得到数学的想法。

mr.ghxy 发表于 2014-4-16 10:47
我不是学计量的，就是想搞清楚一些问题，复习时候不至于磕磕碰碰的。但是请原谅我水平问题，我不懂你说的 ...

如果你是在复习中级计量的课程，恕我直言，你没有必要把这个问题搞得非常清楚，应该不会影响你学习后续的内容。但如果你是在复习高级计量，这个问题必须弄懂。

mr.ghxy 发表于 2014-4-16 10:47
我不是学计量的，就是想搞清楚一些问题，复习时候不至于磕磕碰碰的。但是请原谅我水平问题，我不懂你说的 ...

如果你认为不是最小化残差平方和，那你认为应该最小化什么呢？

冬日的碧雪 发表于 2014-4-16 10:52
如果你认为不是最小化残差平方和，那你认为应该最小化什么呢？

在我读高中时候，我看到数学书上的回归模型的图像，那些实际点有的在回归方程的线上面有的在下面，那个时候我就想，这些距离有正有负，正负相加不就落在回归线上了，为什么你要把它们全部都平方呢。当时想的很简单，像个办法找出一条可以穿过最多点的线，或者众多点离x轴距离之和在除以二。现在想想，那些方法很不实用也很傻逼，如果不用最小二乘，根本难以简单找到那条线。

最理想的肯定是绝对值之和最小，但平方和解析性强，所以退而求其次，采用平方和最小。
绝对值之和最小，无法解析，故不采纳。

mr.ghxy 发表于 2014-4-16 11:04
在我读高中时候，我看到数学书上的回归模型的图像，那些实际点有的在回归方程的线上面有的在下面，那个时 ...

你的方法也是可以的，任何试图去找到这样一条线的想法都是一种估计，一种猜测，没有谁说这样猜可以，那样猜就不可以。但总有一种比较好的的猜测方法让它具有一些比较好的性质，你猜A，我猜B，结果我们都不准，实际可能是C。那到底哪个更准一点，总有办法衡量的。最小化残差平方和为什么比你那些方法更好不只在于它更便于计算这么简单，因为高级计量里面会证明，它是离实际最近的一种猜测，虽然它也不是百分百准确，但它在众多的猜测当中是最好的选择了，没有比它更好的了。至于什么叫好，为什么OLS最好，这些问题不学高级计量，是不会真正搞清楚的。

OLS只是一种算法。讨论OLS的最优性需要涉及到我们假定数据服从的概率模型。如果数据之间服从的是正态分布，可以证明OLS对应的是极大似然估计，是最优的。如果数据服从其他的概率模型，比如拉普拉斯分布什么的，OLS就不是最优的了。统计学当中不是有robust estimation吗，就是研究数据服从其他分布时的，如何设计最优估计器。当然即使在这样的情况下，比如在满足高斯马尔可夫定律的条件下，使用OLS仍然能得到实际中可以接受的估计值（线性最小方差估计）。

回归就是要保持定义的距离最小   而最小二乘的距离定义就是二次方  当然你也可以是绝对值但是那样就不平滑了不能做微分什么的， 而你所说的一次根本就不是距离！