主成分分析与因子分析的区别联系。

Similarities

• PCA and EFA have these assumptions in common:
• Measurement scale is interval or ratio level
• Random sample - at least 5 observations per observed variable and at least 100 observations.
• Larger sample sizes recommended for more stable estimates, 10- 20 observations per observed variable
• Over sample to compensate for missing values
• Linear relationship between observed variables
• Normal distribution for each observed variable
• Each pair of observed variables has a bivariate normal distribution
• PCA and EFA are both variable reduction techniques. If communalities are large, close to 1.00, results could be similar.

[此贴子已经被作者于2006-4-18 6:49:24编辑过]

Differences

Principal Component Analysis	Exploratory Factor Analysis
Principal Components retained account for a maximal amount of variance of observed variables	Factors account for common variance in the data
Analysis decomposes correlation matrix	Analysis decomposes adjusted correlation matrix
Diagonals of the correlation matrix	Diagonals of correlation matrix adjusted with unique factors
Minimizes sum of squared perpendicular distance to the component axis	Estimates factors which influence responses on observed variables
Component scores are a linear combination of the observed variables weighted by eigenvectors	Observed variables are linear combinations of the underlying and unique factors

[此贴子已经被作者于2006-4-18 6:48:32编辑过]

Methods of Multivariate Analysis

Second Edition

ALVIN C. RENCHER: Brigham Young University

13.8 THE RELATIONSHIP OF FACTOR ANALYSIS TO PRINCIPAL COMPONENT ANALYSIS

Both factor analysis and principal component analysis have the goal of reducing dimensionality. Because the objectives are similar, many authors discuss principalcomponent analysis as another type of factor analysis. This can be confusing, and we wish to underscore the distinguishing characteristics of the two techniques. Two of the differences between factor analysis and principal component analysis were mentioned in Section 13.1:

1. In factor analysis, the variables are expressed as linear combinations of the factors, whereas the principal components are linear functions of the variables.
2. In principal component analysis, the emphasis is on explaining the total variance, as contrasted with the attempt to explain the covariances in factor analysis.
3. The principal component analysis requires essentially no assumptions, whereas the factor analysis makes several key assumptions;
4. the principal components are unique ( assuming distinct eigenvalues of S), whereas the factors are subject to an arbitrary rotation.
5. If we change the number of factors, the ( estimated) factors change. This does not happen in principal components. The ability to rotate to improve interpretability is one of the advantages of factor analysis over principal components.

If finding and describing some underlying factors is the goal, factor analysis may prove more useful than principal components; we would prefer factor analysis if the factor model fits the data well and we like the interpretation of the rotated factors. On the other hand, if we wish to define a smaller number of variables for input into another analysis, we would ordinarily prefer principal components, although this can sometimes be accomplished with factor scores. Occasionally, principal components are interpretable, as in the size and shape components in Example 12.8.1.

[此贴子已经被作者于2006-4-18 9:11:59编辑过]

Why principal component analysis is not an appropriate feature extraction method for hyperspectral data

Cheriyadat, A. Bruce, L.M.
Dept. of Electr. & Comput. Eng., Mississippi State Univ., MS, USA;

This paper appears in: Geoscience and Remote Sensing Symposium, 2003. IGARSS '03. Proceedings. 2003 IEEE International
Publication Date: 21-25 July 2003
Volume: 6, On page(s): 3420- 3422 vol.6
ISSN:
ISBN: 0-7803-7929-2

Abstract

It is a popular practice in the remote sensing community to apply principal component analysis (PCA) on a high dimensional feature space to achieve dimensionality reduction. Typically, there are two primary goals for dimensionality reduction: (i) data compression and (ii) feature extraction for classification purposes. While PCA has been proven to be an optimal method for data compression, it is not necessarily an optimal method for feature extraction, particularly when the features are used in a supervised classifier. This paper addresses the issue of using PCA on hyperspectral data, specifically why PCA is not optimal for dimensionality reduction in target detection and classification applications. The authors provide theoretical and experimental analysis of PCA to demonstrate why and when PCA is not appropriate. There are variations of the Karhunen-Loeve transform that outperform PCA in a supervised classification scheme, and some of these alternative approaches are discussed in this paper.

48886.pdf (1.31 MB)

2006-4-18 09:49:00 上传

主成分分析与因子分析的区别联系。

书上写的很多啊

印象中主成分分析是寻找椭圆主轴的过程，而因子分析首先得经过因子旋转，并且因子的个数和变量的个数不一定一致,而且主成分分析可以看作是因子分析的一个特例。说的不准确一点，这两种分析的核心思想都是降维。

[此贴子已经被作者于2006-4-18 14:30:57编辑过]

又遇到了这个老问题。

这东西竟又被翻了出来。

二者都是基本但十分重要的降维手段；

主成分分析其实是对数据做一个旋转，并不能严格表为一个数学模型；

主因子法则是一个模型，最简单的正交因子模型更是一种线性模型；

主因子法是主成分法的推广，但主成分法并不能被说成是主因子法的特例，即使在最接近之时二者仍有细微的差距。

对于主成分分析与因子分析的应用很多人往往不知道其区别与联系，以下将对这一点做简单的讲述:

    1.因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。

    2.主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。

    3.主成分分析中不需要有假设(assumptions),因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specificfactor）之间也不相关，共同因子和特殊因子之间也不相关。

    4.主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，的主成分一般是独特的；而因子分析中因子不是独特的，可以旋转得到不到的因子。

    5.在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。

    和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因子得分做到。所以这中区分不是绝对的。

    总得来说，主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用：a，了解数据。(screening the data),b,和cluster analysis一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成份发对变量简化。（reduce dimensionality）d,在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。

     在算法上，主成分分析和因子分析很类似，不过，在因子分析中所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）。

主成分分析和因子分析的区别

　　1，因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成各个变量的线性组合。

　　2，主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之 间的协方差。

　　3，主成分分析中不需要有假设(assumptions),因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。

　　4，主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，的主成分 一般是独特的；而因子分析中因子不是独特的，可以旋转得到不到的因子。

　　5，在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特 征值大于1的因子进入分析），而指 定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。

　　和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因子得分做到。所以这种区分不是绝对的。

　　总得来说，主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前 ，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用（我觉得不一定，可以单独用）：a，了解数据。(screening the data),b,和cluster analysis一 起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成份发对变量简化。（reduce dimensionality）d,在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。

　　在算法上，主成分分析和因子分析很类似，不过，在因子分析中所采用的协方差矩阵的对角元素不再是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）。