请问最小二乘法为什么要平方和？

noartist1 发表于 2014-4-16 11:55
OLS只是一种算法。讨论OLS的最优性需要涉及到我们假定数据服从的概率模型。如果数据之间服从的是正态分布， ...

你这种说法是不对的，只要定义的这种距离存在，就一定能找到OLS  ，只是公式不一样了，与数据服从的概率模型无关。

liwenxue_137 发表于 2014-4-16 08:48
弱国你在读研究生，建议看看统计学的一章，风险(损失)理论（创始人---Wald）

      若最小化函数sum(y_i-x_i^T \beta)能行吗？他是没有最小值的（tends to \infty），你是求不不来估计值的。sum（abs (y_i-x_i^T \beta) )或者sum（abs (y_i-x_i^T \beta)…^2 )由于是凸函数，故能最小化。至于为什么要用这2个，没有为什么，你也用其他的非凹损失函数。sum（abs (y_i-x_i^T \beta)…^2 )用它的理由是当误差iid.~Normal distribution时，对数似然函数就是sum（abs (y_i-x_i^T \beta)…^2 ). sum（abs (y_i-x_i^T \beta) )------用它的理由是----误差是Laplace分布时----对数似然函数就是sum（abs (y_i-x_i^T \beta) )。

使用任何非凹损失函数最小化都是可以的，唯一的目标就是估计值更接近真值参数\beta。

     使用最小二乘，相当于我们假设了高斯模型，当真正的假设与高斯条件相差不远时，我们也可以用最小二乘，只是估计值表现的没有高斯模型时好。当真正的假设与高斯条件相差及其大时，比如说不是高斯模型，而是误差为柯西分布，我们也用最小二乘的话，估计值就和真值查千万里了，已经面目全非了。数学经济学统计学都是一回事，在一系列假设下得到最优结论。当假设不成立时，我们也可以当作假设成立来用，我们得出的结论与实际结论的误差不会很大，只要实际情形与定理的假设条件相差不远。否则结论就完全错误的。

最小二乘是要使残差最小，也就是样本点与拟合直线的距离最小，如果用点距直线铅直距离，会正负相抵消，因此用平方和来表示距离。

冬日的碧雪 发表于 2014-4-16 10:41
因为最小二乘要估计的是E(Y|X），conditional mean，而conditional mean 是最小化population mean squared  ...

打扰一下，请问 P=β1+β2exp(Q)+e   How would you estimate this non-linear relationship by OLS? 请问这个题目什么意思，是要我们做什么？

最简单的一个例子，模型a有两个点，距离为正十和负十，模型b两个点，距离为一和负二

mr.ghxy 发表于 2014-4-17 07:53
打扰一下，请问 P=β1+β2exp(Q)+e   How would you estimate this non-linear relationship by OLS? 请问 ...

你就把P当成Y， 把exp(Q)当成X作一般的OLS就可以了，这个模型虽然是nonlinear的，但是它是nonlinear in regressor rather than nonlinear in parameter,所以essentially来讲还是linear.

很简单的问题 ，平方是为了避免抵消，刻度所有的偏差，不然直接加总 有的偏差刻度不出来。也可以考虑LAD方法，就是把他们相差的取绝对值。

平方和是为了求的偏离的幅度，如果不加平方和直接用算数计算则样本曲线模型与总体曲线的偏离就可能不能很好的被衡量出来，而且利用平方和而不利用其他的模式（如绝对值或更高次方）是为了便于求满足最小偏离的系数估计（系数求偏导）~~~！