关于最小二乘法的一个证明问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：最小二乘法 最小二乘

（1）先证${{\hat{y}}_{j}}=\sum\limits_{i=1}^{n}{{{w}_{ji}}{{y}_{i}}}$
利用残差制造者M进行证明：
$M=I-X{{\left( {X}'X \right)}^{-1}}{X}'$
$\hat{y}=y-e=\left( I-M \right)y=X{{\left( {X}'X \right)}^{-1}}{X}'y=Py$ ，
矩阵P的各元素为
$P=\left[ \begin{matrix}
   {{w}_{11}} & \ldots  & {{w}_{1n}}  \\
   \vdots  & \ldots  & \vdots   \\
   {{w}_{n1}} & \ldots  & {{w}_{nn}}  \\
\end{matrix} \right]$ ，因而对每一个${{\hat{y}}_{j}}=\sum\limits_{i=1}^{n}{{{w}_{ji}}{{y}_{i}}}$
（2）接下来证$\sum\limits_{i=1}^{n}{{{w}_{i}}}=1$该式相当于证明$PZ=Z$，其中$Z$ 为一列1。
由于$IZ=Z$ ，因而
$PZ=PIZ=P\left( X{{X}^{-1}} \right)Z=X{{\left( {X}'X \right)}^{-1}}\left( {X}'X \right){{X}^{-1}}Z=Z$
得证。

nuomin 发表于 2017-1-7 23:40
（1）先证${{\hat{y}}_{j}}=\sum\limits_{i=1}^{n}{{{w}_{ji}}{{y}_{i}}}$
利用残差制造者M进行证明：
$M ...

jiagangw 发表于 2017-1-8 15:40

非常感谢您的反馈意见，我再想想办法

nuomin 发表于 2017-1-8 23:02
非常感谢您的反馈意见，我再想想办法

请注意回复中提到的如下事实: ``线性组合系数和为~1'' 这个结论成立是要有条件的.

jiagangw 发表于 2017-1-9 08:49
请注意回复中提到的如下事实: ``线性组合系数和为~1'' 这个结论成立是要有条件的.

想了一个第二部分的证明，这回引入误差项$e=My$，由于${Z}'e=0,P={P}'$，${Z}'e={Z}'My={Z}'\left( I-P \right)y=\left( {Z}'-{Z}'{P}' \right)y=0$
上式中圆括号内为$\left[ 1-\sum{{{w}_{1i}}},1-\sum{{{w}_{2i}}},\ldots ,1-\sum{{{w}_{ni}}} \right]$，对任意的$y$，左乘该向量得到0，因而，该向量的每一个分量等于0，所以$\sum\limits_{i=1}^{n}{{{w}_{ji}}}=1$。

nuomin 发表于 2017-1-9 23:07
想了一个第二部分的证明，这回引入误差项$e=My$，由于${Z}'e=0,P={P}'$，${Z}'e={Z}'My={Z}'\left( I-P \ ...

1. 不知7 楼回复中第二个逗号后 "$Z'e=0$“ 这个式子如何得到？如何由关于一般线性模型的假定推得？
2. 如前面几次提到的，对一般的线性模型，(所有预测)``线性组合系数和为1'' 这个结论成立是要有条件的，充要的是: 分量全为1 的 $n$ 维列向量(即7楼用的$Z$)可表为~$X$ 列向量的线性组合. 所以不附加这个条件要想证明
``线性组合系数和为1'' 的努力是无法成功的。请版主宽容我的直率。

jiagangw 发表于 2017-1-10 11:29
1. 不知7 楼回复中第二个逗号后 "$Z'e=0$“ 这个式子如何得到？如何由关于一般线性模型的假定推得？
2.  ...

最小二乘正规方程组${X}'Xb={X}'y$，可得${X}'Xb-{X}'y=0\Rightarrow -{X}'\left( y-Xb \right)=-{X}'e=0$。对$X$中的每一列${{X}_{k}}$,会有${{{X}'}_{k}}e=0$,如果$X$中的第一列都是1，（这是您建议的充分条件），就会有${Z}'e=0$。

谢谢9楼班版主热心的回复。我仍有如下问题：$Z'e=0$是否要有条件或者是总能成立的？
由于此问题经多次反复，对初始问题有些模糊。我仍想请问noumin, 按你的回复与推导，对一般线性模型，"预测量$\hat{Y}$每个分量表为$Y$线性组合时其系数和都为1"(相当于你的符号$PZ=Z$, 或者用我习惯的符号$X(X'X)^{-1}X'\mathbf{1}=\mathbf{1}$)，这一结论成立是否要有条件，或者是总能成立的。