发帖
雷达卡
数据降维处理：PCA之特征值分解法例子解析
在数据预处理：PCA原理推导中我们说到，求数据 X 的 k 个主成分就是求解
我们还是拿高三101班的数学和外语的分数，要完成排名任务时，现在要对这批数据由二维降为一维，学生们的分数为了表达和书写的方便，拿出5个样本，矩阵 X的形状为：5个样本点2列特征，
数学 外语
X = [ [108, 100],
[ 82, 85],
[75, 84],
[120, 109],
[99, 91] ]
还记得我们设定的那个X吗？长这样：
X是要按照样本点按axis = 1(列轴)排序的，所以重新将 X 变为这样：
X =[ [108, 82, 75, 120, 99], #数学成绩
[100, 85, 84, 109, 91] ] #外语成绩
画出以上5个点，找出这5个点的第一主成分方向，然后以此为轴，将5个样本投影到这个轴上，就会抓取5个样本的主要特征，这个主成分提取的矩阵分解法的操作步骤如下所示：
第一步，X的shape找对了（一般矩阵运算和经常使用的Numpy等包，看一下某个矩阵和运算后的矩阵的 shape 是调试程序，寻找bug，经常用到的。），还要把每个特征去均值，最终 X变为如下才和昨天的推导中使用的 X对应上了吧，
X= [ [ 11.2, -14.8, -21.8, 23.2, 2.2],
[ 6.2, -8.8, -9.8, 15.2, -2.8] ]
第二步，就该求方阵
[ [1362.8, 759.8],
[ 759.8, 450.8] ]
今天有的小伙伴问我，小编，我们书上学得网上看到的都还得除以每一维元素的个数，此处等于5，为什么你这里没有除呢，是不是拉下了？其实这里除以5，还是不除以5，都对最后的求第一主成分的方向没有任何影响吧，我们关心的是它的方向，而不是向量的大小，只要方向ok，就ok。
第三步，得到了这个方阵后，下一步该求它的特征值和对应的特征向量了吧，我们直接在numpy中求出上面协方差矩阵的特征值和对应的特征向量：
特征值有2个：[ 1792.93319541, 20.66680459]
分别对应的特征向量的矩阵如下，注意，向量一般指列向量，所以特征值1792对应的特征向量为第一列，
[[0.87022851, -0.49264829],
[ 0.49264829, 0.87022851] ]
第四步，选取最大特征值对应的特征向量：[0.87022851, 0.49264829]，可以看到numpy给出的特征向量已经标准化（模等于1）。
第五步，我们已经求出了第一主特征对应的方向向量了，这一步自然是将数据 X 投影到这个标准化后的特征向量 fpc = [0.87022851, 0.49264829] 上，还记得我们的数据在刚开始做的转置吗，一般习惯将 X 标记为 [样本个数，特征数]的二维数组吧，但是在此处，我们为了选取第一主成分向量而转置了吧，我们还是再回到熟悉的节奏上吧，投影上次说过了，不就是点乘特征向量标记的主轴吗，因此借用numpy的表示：
(X.T).dot(fpc.T)
= [12.80097873, -17.21468692, -23.7989348 , 27.67755548, 0.53508751]
好了，我们成功地将一个二维数据降维成1维了吧，以上就是整个的操作步骤。
展示下[0.87022851, 0.49264829] 这个向量定出的主轴方向吧，可以看到这5个点投影到这个新轴上，看着就是散的最开的方向。
京公网安备 11010802022788号
