主成分分析在STATA中的实现以及理论介绍 | |
转自 http://wenku.baidu.com/view/c90a10816529647d27285208.html?re=view 主成分分分析也称作主分量分析,是霍特林(Hotelling)在1933年首先提出。主成分分析是利用降维的思想,在损失较少信息的前提下把多个指标转化为较少的综合指标。转化生成的综合指标即称为主成分,其中每个主成分都是原始变量的线性组合,且各个主成分互不相关。Stata对主成分分析的主要内容包括:主成分估计、主成分分析的恰当性(包括负偏协方差矩阵和负偏相关系数矩阵、KMO(Kaiser-Meyer-Olkin)抽样充分性、复相关系数、共同度等指标测度)、主成分的旋转、预测、各种检验、碎石图、得分图、载荷图等。
其中,a称为得分,b称为载荷。主成分分析主要的分析方法是对相关系数矩阵(或协方差矩阵)进行特征值分析。 Stata中可以通过负偏相关系数矩阵、负相关系数平方和KMO值对主成分分析的恰当性进行分析。负偏相关系数矩阵即变量之间两两偏相关系数的负数。非对角线元素则为负的偏相关系数。如果变量之间存在较强的共性,则偏相关系数比较低。因此,如果矩阵中偏相关系数较高的个数比较多,说明某一些变量与另外一些变量的相关性比较低,主成分模型可能不适用。这时,主成分分析不能得到很好的数据约化效果。 Kaiser-Meyer-Olkin抽样充分性测度也是用于测量变量之间相关关系的强弱的重要指标,是通过比较两个变量的相关系数与偏相关系数得到的。KMO介于0于1之间。KMO越高,表明变量的共性越强。如果偏相关系数相对于相关系数比较高,则KMO比较低,主成分分析不能起到很好的数据约化效果。根据Kaiser(1974),一般的判断标准如下:0.00-0.49,不能接受(unacceptable);0.50-0.59,非常差(miserable);0.60-0.69,勉强接受(mediocre);0.70-0.79,可以接受(middling);0.80-0.89,比较好(meritorious);0.90-1.00,非常好(marvelous)。 SMC即一个变量与其他所有变量的复相关系数的平方,也就是复回归方程的可决系数。SMC比较高表明变量的线性关系越强,共性越强,主成分分析就越合适。 成分载荷、KMO、SMC等指标都可以通过extat命令进行分析。 多元方差分析是方差分析在多元中的扩展,即模型含有多个响应变量。本章介绍多元(协)方差分析以及霍特林(Hotelling)均值向量T检验。 1 主成分估计 Stata可以通过变量进行主成分分析,也可以直接通过相关系数矩阵或协方差矩阵进行。 (1)
(2)
2 Estat estat给出了几个非常有用的工具,包括KMO、SMC等指标。
3 预测 Stata可以通过predict预测变量得分、拟合值和残差等。
(备注:q代表残差的平方和) 4 碎石图 碎石图是判断保留多少个主成分的重要方法。命令为screeplot。
5 得分图、载荷图 得分图即不同主成分得分的散点图。命令为scoreplot。
载荷图即不同主成分载荷的散点图。命令为loadingplot。
6 旋转 对载荷进行旋转的命令格式为rotate。
程序:
分析: 先对数据进行标准化处理后,接着进行主成分分析,可以得到:
从表中看到,前3个特征值累计贡献率已达90.27%,说明前3个主成分基本包含了全部指标具有的信息,我们取前3个特征值。通过对载荷矩阵进行旋转,可得到,相应的特征向量,见下表:
在第一主成分的表达式中第一、第三、第八项指标的系数较大,这三项指标起主要作用,我们可以把第一主成分看成是由国内生产总值、固定资产投资、工业总产值所刻划的反映经济社会总量的综合指标; 在第二主成分中,第二、第三、第四项指标的影响大,且第二、第四项的影响较大,因此可以把第二主成分看成是由居民消费水平、职工平均工资表示的反映人民生活水平的综合指标; 在第三主成分中,第六、第七项指标大于其余的指标,可看成是受居民消费价格指数、商品零售价格指数的影响,反映物价水平的综合指标。 在这次的主成分分析里面,我们可以进行些检验以验证我们分析的效果,通过KMO检验和SMC检验,得到了下面的检验值:
Kaiser-Meyer-Olkin抽样充分性测度也是用于测量变量之间相关关系的强弱的重要指标,是通过比较两个变量的相关系数与偏相关系数得到的。KMO介于0于1之间。KMO越高,表明变量的共性越强。如果偏相关系数相对于相关系数比较高,则KMO比较低,主成分分析不能起到很好的数据约化效果。根据Kaiser(1974),一般的判断标准如下:0.00-0.49,不能接受(unacceptable);0.50-0.59,非常差(miserable);0.60-0.69,勉强接受(mediocre);0.70-0.79,可以接受(middling);0.80-0.89,比较好(meritorious);0.90-1.00,非常好(marvelous)。 SMC即一个变量与其他所有变量的复相关系数的平方,也就是复回归方程的可决系数。SMC比较高表明变量的线性关系越强,共性越强,主成分分析就越合适。 根据KMO越高,表明变量的共性越强和SMC比较高表明变量的线性关系越强,共性越强,主成分分析就越合适。从上表可以看出,在该例中,各变量基本符合要求。 通过碎石图,我们可以很直观的看出各个特征值的大小。在该图中,特征值等于1处的水平线标示了保留主成分分析的分界点,同时再次强调了本例中的成分4到8并不重要。 碎石图
通过predict我们可以得出各个观察变量的所对应的各个主成分的线性组合(即得分)。 在得分图里,我们可以看到不同地区在第一、第二主成分里各自的得分情况。 得分图
通过载荷图,我们可以直观看出各个变量对主成分影响的大小。 载荷图
运行rotate进行旋转后,我们将旋转后的结果和旋转前的结果进行比较,可以发现每一个观察变量独自构成一个主成分,方差贡献相等,都为12%。
|