主成份分析最大方差等于特征值的证明问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

主成份分析的原理有些不懂，涉及到不少线性代数的内容，可惜线代当年就没学好，而且这么多年也都忘了，重新简单翻了翻，感觉还是有些懵懵懂懂。
请哪位老师不吝赐教。
主要问题是：据书上说，第一个主成份是方差最大的方向，并且这个方差值等于样本相关阵最大的那个特征值。最终映射到数学问题，就是：其中

Var(a1’X)=l1=a1’Ra1 ，其中，R是样本相关阵，是一个对称矩阵，对角线的数全为1，其中的元素是矩阵X中，第i个变量和第j个变量的相关系数。l1是它的特征值，a1，是对应的单位特征向量，请问各位老师，这个式子是怎么成立的？这个式子的左边是一个矩阵的方差，我根本不知道怎么算，右边是一个二次型。如有指点，万分感激！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：主成份分析 主成份 特征值 对称矩阵 数学问题 对角线 最大的 而且 数学 样本

本科数学的问题之一就是没有把线性代数放在应有的地位上，没有讲透。而大家都知道后续科目中的公式基本上都要靠矩阵表达，这给后续学习带来不少困难，当初我也是重新自学的。闲话少叙，进入正题

绝大多数“多元统计”教材讲到多元正态分布时，都有这么一道习题，包括相关的2个证明：
1)、Y是随机变量，X是随机变量，c是常量，设Y=c.X，证明D(Y)=c^2*D(X)
2)、Y是随机变量，x是随机向量，c是常向量，设Y=c'x，证明D(Y)=c'.D(x).c
利用此结果：
∵第i个主成分Yi=Vi'.X,这里Vi是D(x)的第i个特征向量
∴D(Yi)=Vi'.D(X).Vi
∴D(Yi)=Vi'.[D(X).Vi]=Vi'[λi.Vi]，第2个等号的依据是特征向量的定义
∴D(Yi)=λi[Vi'.Vi]=λi，第1个等号的依据是提取常系数，第2个等号的依据是Vi是单位向量
All done。

ps：
其实，如果完全用线性代数的语言，完全可以把主成分分析表达的更漂亮
上面的习题有时还会有第3个证明：3)、y是随机向量，x是随机向量，C是常矩阵，设y=C'x，证明D(y)=C'.D(x).C
利用此结果：
主成分y=V'.x，这里V是特征向量排列成的矩阵
∴D(y)=V'.D(x).V=Λ，这里Λ是特征值沿着对角线排列成的矩阵

万分感谢3楼的老师。还有一问，不胜烦扰，如有时间，敬请回复：r（Yi,Xj）=第i特征值的根号*a(ij),想知道这个式子是怎么来的，我今天证明了好几个小时也没有结果。这个式子的意思是说第i个主成份和第j个变量x的相关系数，等于这个主成份对应的特征值的根号，再乘以特征根对应的单位特征向量的第j个分量。。。因为这些符号都打不出来，不知你能否看明白。万分感谢！

现在才感觉到矩阵真的能表达得很漂亮，那么复杂的东西可以用这么简洁的式子表达出来，真是美妙啊

4# regretless2006

从你的叙述看，你的教材有些问题，应该是Cov(Yi,Xj)=sqrt(λi)*v(ij)，而不是Cor(Yi,Xj)=sqrt(λi)*v(ij)
主要区别是是否对X进行归一化处理，国内许多教材相互抄袭，虽然没有大错，但大都没有讲清楚，实在误人子弟。
建议看《实用多元统计分析》，Johnson 和 Wichern 合著，陆璇翻译，论坛有第4版，China-pub上有第6版，讲的很清楚。
论坛打公式是在受罪，还是贴图片吧：

非常感谢您的热心帮助，多谢多谢！

呵呵，多谢您的推荐，我一定去看看《实用多元统计分析》

我找了一下，没看到免费的，您能发一个给我吗？我的邮箱1387457@qq.com。再次感谢您

好！