[求助]主成份回归与因子回归

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

<P>各位大侠：</P>
<P>近日我看了上海财经大学出版社的，赵卫亚编著的《计量经济学教程》（p118的例子），其中讲到主成份回归的。于是我用<FONT color=#ff0000>SAS里的INSIHGT</FONT>功能计算得到了一个主成份（特征向量与赵书给出的主成分向量相同），我对SAS不熟悉，接着又用<FONT color=#ff0000>SPSS的Data Recuction</FONT>菜单（做因子分析用的），得到的与SAS同样的结果，对照着看，二者输出的结果几乎一样的。但后来，我又得知SAS的Analyst菜单才是<FONT color=#ff0000>专门做主成份分析的</FONT>，于是，再次用<FONT color=#ff0000>SAS的Analyst</FONT>做了一次主成份分析，这下得到的特征向量就与前二前次得到的不同了。我相信<FONT color=#ff0000>最后一次得到的结果</FONT>才是赵书例子里的主成份分析应该得出的<FONT color=#ff0000>特征向量矩阵</FONT>。因为后来我才知道，SAS INSIGHT和SPSS都是做因子分析而非主成份分析的。近日又看了不少书，总算有点理解了。但是我做主成份分析的目的是为了用来做主成份回归，最近看到一篇文章，用的是因子分析的因子得分来做回归，而不是变量的主成份。</P>
<P>现在我想问两个问题，真心向大侠求教：</P>
<P>1、<FONT color=#ff0000>在SPSS里头怎么做主成份分析呢？   </FONT><FONT color=#ff0000><FONT color=#000000>在</FONT>SAS INSIGHT<FONT color=#000000>如何得出主成份分析的结果呢，我上面说的得出的</FONT>是因子分析的结果还是主成份分析的结果啊？</FONT>听说在<FONT color=#ff0000>SAS里的INSIHGT<FONT color=#000000>和</FONT>Analyst</FONT><FONT color=#000000>里都可以做主成份分析，但我做时发现二者的结果不一样，听说</FONT><FONT color=#ff0000>SAS里的INSIHGT</FONT><FONT color=#000000>主要用来做因子分析的，我做的结果与SPSS也一样，那么，究竟应该怎么做呢？</FONT></P>
<P>2、<FONT color=#ff0000>主成份回归和因子得分回归有什么区别啊</FONT>，通常所说的主成份回归是不是二者通用？越卫亚的例子说是主成份回归，我计算发现他用的是因子向量，而不是他说的相关系数特征值对应的特征向量。究竟是他搞错了，还是本来说的主成分回归就是因子回归，是同一码事啊？</P>
<P>关于以上两点真的很模糊，真希大家指点啊，多谢了。</P>

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：主成份回归 主成份 SAS INSIGHT Analyst Insight 成份

建议你看看《多元统计分析》，这两块内容不是几句话就能说清楚的。关于第二个问题，主成分回归确实是利用主成分分析后得出的主成分因子向量进行回归，理解了主成分分析就会清楚的。有错之处请高手补充。

<P>多谢楼上的<b><FONT color=#000066>samsong，</FONT><FONT color=#000000>我翻了几本多元统计方面的书，终于明白，原来用谱分解来理解主成份分析与因子分析，则很易得知，因子矩阵的列向量就是对应特征值的特征向量矩阵的列向量剩以该特征的开方。二者的区别与联系也知道了一个大概，但是，很少看见有书同时介绍主成份回归或因子回归的，在这二者的关系上还有不清楚的地方。我看到一些杂志上做的因子分析，但同时做主成份回归时，就有的说是用因子得分来做，但细看，却是用的主成份向量。而赵卫亚那本书说是用的主成份来回归，我却发现他好象用的是因子向量，真是迷糊啊！望高手指点迷津</FONT></b></P><P><b>而至于SPSS与主成份分析，很多介绍SPSS的书上都有那么一章，如主成份分析，但仔细一看，讲的是主成份的原理，却没有操作，接着就是因子分析了，操作过程却讲得很详细。有谁用SPSS做过主成份分析的，可否不吝赐教一二，感激哦！！！</b></P>

<DIV class=quote><B>以下是引用<I>statax</I>在2005-3-25 2:35:08的发言：</B>

<P>各位大侠：</P>
<P>.....   2、<FONT color=#ff0000>主成份回归和因子得分回归有什么区别啊</FONT>，........</P>
<P>关于以上两点真的很模糊，真希大家指点啊，多谢了。</P></DIV>
<P>
<P>It is not recommended to use <FONT color=#ff0000>主成份回归.</FONT>
<P><FONT color=#000000>First, it might cause misspecification error.</FONT>
<P>Second, it is difficult to interpret regression coefficients. </P>

<P></P><P>整个计量经济学或者说统计学除了经典回归技术</P><P>很成熟外，其他的都尚处于争议之中。掌握一点方法</P><P>总没什么坏处</P>

<DIV class=quote><B>以下是引用<I>qw</I>在2005-3-28 19:49:03的发言：</B>

<P></P>
<P>整个计量经济学或者说统计学除了经典回归技术</P>
<P>很成熟外，其他的都尚处于争议之中。掌握一点方法</P>
<P>总没什么坏处</P></DIV>
<P>"总没什么坏处"，  There are two severe drawbacks (read my former post please)</P>
<P>"除了经典回归技术很成熟外"  Do you mean CLRM, LS or both?
<P>"其他的都尚处于争议之中"  Would you please more specific?
<P>Thanks  </P>

<DIV class=quote><B>以下是引用<I>gemini69</I>在2005-3-28 3:51:06的发言：</B>


<P>

<P>It is not recommended to use <FONT color=#ff0000>主成份回归.</FONT>
<P><FONT color=#000000>First, it might cause misspecification error.</FONT>
<P>Second, it is difficult to interpret regression coefficients. </P></DIV>
<P><FONT color=#3300ff>非常感谢<b><EM>gemini69</EM></b></FONT><FONT face=宋体><FONT color=#3300ff>对我问题的解答。</FONT>你说的misspecification error中文字面好象“缺失定义的错误”，第二点是说难以定义回归系数的经济含义。但如果只把主成分作为变量变换的一个中间过程，最后<FONT color=#ff0000>将标准化的y以及主成分再变换回原水平的Y和Xi</FONT>，这样不就可以说明其含义了吗，<FONT color=#ff3300>中间过程不好说其含义，但有的书上说“不必解释其含义”，</FONT>好象有点说得过去，<FONT color=#0000ff>想听听你的观点。</FONT></FONT>
<P><FONT face=宋体>你只回答了我问题的主成份回归的那部分啊，<FONT color=#ff0000>假如我用因子得分F来与y回归呢</FONT>？主因子是有明确的经济含义了吧，虽然y是经过标准化的，这样回归后，<FONT color=#ff0000>还要不要再变换回原水平的Y和Xi呢</FONT>？</FONT>
<P><FONT face=宋体>此外，<FONT color=#ff0000>主成份向量与因子向量只相差一个相应特征值的开方，就是差一个常数</FONT>，从回归过程看，主成份与因子回归，<FONT color=#ff0000>只是给变量加了一个不同的权重而已，实质没有多大区别啊</FONT>，而且，主成份还是有一定经济含义的，虽然没有因子得分那么明显。<FONT color=#0909f7>请问主成份回归与因子得分回归是不是一回事？</FONT></FONT>
<P>还请大侠不吝指教我以上的问题，感谢:)</P>

<DIV class=quote><B>以下是引用<I>statax</I>在2005-3-29 14:22:34的发言：</B>



<P><FONT color=#3300ff>非常感谢<B><EM>gemini69</EM></B></FONT><FONT face=宋体><FONT color=#3300ff>对我问题的解答。</FONT>你说的misspecification error中文字面好象“缺失定义的错误”，第二点是说难以定义回归系数的经济含义。但如果只把主成分作为变量变换的一个中间过程，最后<FONT color=#ff0000>将标准化的y以及主成分再变换回原水平的Y和Xi</FONT>，这样不就可以说明其含义了吗，<FONT color=#ff3300>中间过程不好说其含义，但有的书上说“不必解释其含义”，</FONT>好象有点说得过去，<FONT color=#0000ff>想听听你的观点。</FONT></FONT>

<P><FONT face=宋体>你只回答了我问题的主成份回归的那部分啊，<FONT color=#ff0000>假如我用因子得分F来与y回归呢</FONT>？主因子是有明确的经济含义了吧，虽然y是经过标准化的，这样回归后，<FONT color=#ff0000>还要不要再变换回原水平的Y和Xi呢</FONT>？</FONT>

<P><FONT face=宋体>此外，<FONT color=#ff0000>主成份向量与因子向量只相差一个相应特征值的开方，就是差一个常数</FONT>，从回归过程看，主成份与因子回归，<FONT color=#ff0000>只是给变量加了一个不同的权重而已，实质没有多大区别啊</FONT>，而且，主成份还是有一定经济含义的，虽然没有因子得分那么明显。<FONT color=#0909f7>请问主成份回归与因子得分回归是不是一回事？</FONT></FONT>

<P>还请大侠不吝指教我以上的问题，感谢:)</P></DIV>
<P>Well, what do you depond on while building a model?  The standard procedure in econometrics is to choose variables from the so called information set to be the explanatory variables.  The choosing usually deponds on the related theories.  Therefore, here the key point is.

<P>First, It is misspecification error omitting relevant variables in an estimated equation while those variables "should" be included, which are suggested by the theories.  This will produce biased and inconsistent estimators.  The estimated variance of error terms is in the same situation as well.

<P>Second, The problem of using principal components to be the regressor is that this estimator of regression coefficient is just a linear combination of the estimators of those variables in the original multivariate regression.  What does the coefficient of principal components mean if those coefficients of multivariate regression have an interpretation?  The answer is negative possibly.

<P>You can find the answer of other questions you mentioned in any "textbook" about multivariate analysis if you do not have any problem in matrix algebra and linear algebra.  It might be a better way to view the multivariate analysis as one in a multi-dimensions vector space because characteristic roots and characteristic vectors are related in that way.  </P>

<P>Thanks for your reponse.  </P>

[此贴子已经被作者于2005-3-30 2:07:52编辑过]

<DIV class=quote><B>以下是引用<I>gemini69</I>在2005-3-30 2:06:37的发言：</B>


<P>Well, what do you depond on while building a model?  The standard procedure in econometrics is to choose variables from the so called information set to be the explanatory variables.  The choosing usually deponds on the related theories.  Therefore, here the key point is.


<P>First, It is misspecification error omitting relevant variables in an estimated equation while those variables "should" be included, which are suggested by the theories.  This will produce biased and inconsistent estimators.  The estimated variance of error terms is in the same situation as well.


<P>Second, The problem of using principal components to be the regressor is that this estimator of regression coefficient is just a linear combination of the estimators of those variables in the original multivariate regression.  What does the coefficient of principal components mean if those coefficients of multivariate regression have an interpretation?  The answer is negative possibly.


<P>You can find the answer of other questions you mentioned in any "textbook" about multivariate analysis if you do not have any problem in matrix algebra and linear algebra.  It might be a better way to view the multivariate analysis as one in a multi-dimensions vector space because characteristic roots and characteristic vectors are related in that way.  </P>
<P>Thanks for your reponse.  </P>
</DIV>
<P>
<P>Thank you very much,gemini69
<P>你说的建模依据，是用信息变量集去解释被解释变量。
第一点是：“如果该纳入的变量被省略了，就会产生有偏不一致的估计值，并且误差项方差也有同样的问题。
第二点是：“如果用主成份回只是原变量的线性组合，回归后的系数难以说明其含义”
<P>其实，之所以采用主成分回归，是为了避免你说的第一点，不想省略相关的解释变量，但如果自变量很多，因为自变量之间是相关的，所以多重共线性问题就使得回归系数的t值通不过，回归参数的方差很大，得不到有效的估计值。为了解决多重共线性问题，引入了主成份回归，却又带来了你说的“misspecification error ”即第一点问题。真是拆东墙补西墙啊？赫赫。这是解决问题的一个办法吗？
<P>正如我前面说的，<FONT color=#ff0000>主成份回归把它当作一个中间变换过程，不管它的意义，最后将主成份变换回原水平的Y和Xi不就可以解释其意义了吗？</FONT>我不是理工科出身的，但也了解到，数学方法中有一门叫积分变换的，纯粹是为了计算而使用的一种方法，好象有傅里叶和拉普拉斯变换几种吧，都不需要解释含义的，只要逻辑意义上行得通就可以了，你认为如何？
<P>我对数学很感兴趣，但是我本科学的管理，非理工科出身，所以，矩阵代数或线性代数学得不好，我手头上有几本《多元统计分析》，因为急着要用，也没办法从头到尾扎实地学一遍，只是重点看了其中的一些结论。因为各方面的原因，包括时间上及数学基出方面的原因，现在不太可能从头到尾细致地学一遍空间解释几何及矩阵代数，以及关注太多的多元统计上的细节，我只求会用。
<P>很希望gemini69可以给我一些好的建议，我对数学其实也是很感兴趣的，<FONT color=#0000ff>你觉得学好矩阵代数的关键在哪呢？</FONT>能在论坛上认识gemini69真是我的一大幸运啊，感谢了。
<P>最后，关于因子分析与主成份分析，它们之间的区别我是基本上清楚了的，而我想知道的是，当它们分别用于多元回归的时候，区别又在哪里呢？我在多元统计分析里头好象没找到讨论关于它们在用于回归分析时的区别的部分啊？
<P>我看的两本多元统计是：1、"Richard A Johnson &amp; Dean W.Wichern，Applied Multivariate Statictical Analysis",中文版，清华大学出版社的。2、王学民，应用多元分析，上海财大出版社。
<P><FONT color=#ff0000>最后再重复一下我的问题：主成分与主因子得分分别<FONT color=#0000ff>用于回归分析时</FONT>，它们的区别是什么呢？回归过后，还要不要将变量返回原水平？</FONT>
<P>我见过有论文没将它们返回原水平的，而且<FONT color=#0000ff>两种方法得到了两种结果</FONT>，那是《数量经济技术经济研究》2004年第9期的一篇文章，那篇文章其实是讨论主成分分析与因子分析的区别的，而不是重点讨论将它们用于回归分析时的区别，讨论到最后，也没有说清楚得出的结论如何解释的问题，就象我问的，<FONT color=#0000ff>要不要将它们返回原水平</FONT>，那篇文章没将它们返回原水平的。
<P>Thanks a lot~</P>