求教：微积分与线性代数中的最小二乘法有什么关系？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

线性代数的最小二乘法与偏微分形式的最小二乘法有什么关系？可否理解为一个是理想形式（偏微分），一个是数值形式（线代，是一个数值逼近）。软件里应用各种最小二乘法的曲线拟合，是否是基于线代而不是偏微分的形式给出的啊？请大家不吝解答！谢谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：最小二乘法 最小二乘 线性代数 微积分 曲线拟合 关系 微积分

二者处理的问题就不同，线性代数中的最小二乘一般适用于Linear system. 微积分中的范围就更宽一些。不过线性代数中的最小二乘解也是通过求偏微分得到normal equation后求出的。

hugebear 发表于 2013-4-29 00:06
二者处理的问题就不同，线性代数中的最小二乘一般适用于Linear system. 微积分中的范围就更宽一些。不过线性 ...

不太懂啊，线代中的最小二乘法不是通过正交射影和最佳逼近定理，原始数据给出的方程组可能是矛盾方程而无解，但是通过矩阵转置的一系列变换后，就可以得到正规方程组（法方程组，Normal Equations），从而可以证明一定有解。但是偏微分求导里，从各种教材上看，但是是直接求导令两个偏导数为0，就一下子得出了正规方程组，一定就可以有解。这里没有涉及从矛盾方程组到正规方程组的转化。这种极值的存在性是如何证明的？

正规方程得到的解是最小二乘解，并非严格满足所有方程的解。

hugebear 发表于 2013-4-29 09:32
正规方程得到的解是最小二乘解，并非严格满足所有方程的解。

刚才和别人讨论了一下，可否理解为偏微分求导后，令两个偏导数为0的过程，其实就是对应线性代数里把矛盾方程组转化规范方程组的过程？

对了，你要弄清楚最小二乘解是无法求得精确解在某种准则下的一种妥协。

hugebear 发表于 2013-4-29 11:56
对了，你要弄清楚最小二乘解是无法求得精确解在某种准则下的一种妥协。

嗯，谢谢了!呵呵

不懂