关于最小二乘法的一个证明问题

这是我的理解！

jiagangw 发表于 2017-1-11 10:03
谢谢9楼班版主热心的回复。我仍有如下问题：$Z'e=0$是否要有条件或者是总能成立的？
由于此问题经多次反复 ...

又想到一个更简便的方法。楼主提出的问题是在最小二乘法的条件下进行证明。完整的过程如下：
（1）先证${{\hat{y}}_{j}}=\sum\limits_{i=1}^{n}{{{w}_{ji}}{{y}_{i}}}$
利用残差制造者M进行证明：
$M=I-X{{\left( {X}'X \right)}^{-1}}{X}'$
$\hat{y}=y-e=\left( I-M \right)y=X{{\left( {X}'X \right)}^{-1}}{X}'y=Py$，
矩阵P的各元素为
$P=\left[ \begin{matrix}
   {{w}_{11}} & \ldots  & {{w}_{1n}}  \\
   \vdots  & \ldots  & \vdots   \\
   {{w}_{n1}} & \ldots  & {{w}_{nn}}  \\
\end{matrix} \right]$ ，因而对每一个${{\hat{y}}_{j}}=\sum\limits_{i=1}^{n}{{{w}_{ji}}{{y}_{i}}}$
（2）接下来证$\sum\limits_{i=1}^{n}{{{w}_{i}}}=1$，该式相当于证明$PZ=Z$，其中$Z$ 为一列1。
由于$PX=X{{\left( {X}'X \right)}^{-1}}{X}'X=X$，如果$X$的第一列为$Z$，则明显$PZ=Z$
得证。

nuomin 发表于 2017-1-13 21:24
又想到一个更简便的方法。楼主提出的问题是在最小二乘法的条件下进行证明。完整的过程如下：
（1）先证$ ...

谢谢你的回复：``如果$X$的第一列为$Z$, 则明显 $PZ=Z$''. 你是在``$X$的第一列为$Z$''的条件下证明了$PZ=Z$.

之所以多次向你提问是因为有人关心这一问题及赞赏你最初的回复。看了你最初的回复，除了想指出其中的证明的不妥外，还想强调两点：
1. 对一般线性模型，$PZ=Z$ 成立是要附加条件的，不是如二楼所想证明的那样不必附加条件就能成立的。
2. $PZ=Z$ 成立的充要条件是 $Z$ 可表为$X$各列向量的线性组合。所以$X$的列向量中含有一列为$Z$自然满足这一条件，是$PZ=Z$ 的充分条件，但不是必要的。

希望这是关于这一问题的最后要说的。