最小二乘法中，为什么要让残差的平方和最小呢？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

最小二乘法中，为什么要让残差的平方和最小呢？重点是平方和，书上解释了为什么不直接用残差，是因为涉及到符号问题，那既然同样是符号问题，是不是可以取残差的绝对值最小呢？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：最小二乘法 最小二乘 平方和 绝对值 绝对值

不行，最小二乘是有统计学上的意义的。请参考 《C++数值算法》，里面有详细的推导。

可以的，但是不可导，不好计算

只用残差：有符号问题。
用残差的绝对值：运算困难。
用残差的平方和：同时解决了上述两个问题。

deng203 发表于 2011-11-25 18:27
可以的，但是不可导，不好计算

最小二乘是“残差平方和最小”是基于最大似然估计得出的结论，数据建模要有统计意义，并不是想当然来的。

因为用绝对值来衡量变异系数会使计算很复杂，因为我们很难在实际中把很多变量的绝对值的符号去掉，而且，如果要借助统计软件的话，那么这个也是很复杂的，所以我们选择计算平方和，这样就避免了计算复杂。

最小二乘法!好难的！

你的想法是对的。确实有所谓“最小一乘法”，即考虑绝对值之和最小。该法有好多优点，如：不要求随机误差服从正态分布，“稳健性”比最小二乘法好。在数据随机误差不服从正态分布时，其统计性能优于最小二乘法。

zgj1984411 发表于 2011-11-25 18:34
最小二乘是“残差平方和最小”是基于最大似然估计得出的结论，数据建模要有统计意义，并不是想当然来的。

你out了，像分位数回归用的就是绝对误差损失

deng203 发表于 2011-11-25 21:13
你out了，像分位数回归用的就是绝对误差损失

我又不是研究数学的，out就out
楼主问的是最小二乘，你扯分数位干啥