基础概念

主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

在pca中要用到的相关概念：

协方差表示方式：

如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。如果X与Y是统计独立的，那么二者之间的协方差就是0。

换句话说，协方差为正时说明X和Y是正相关关系，协方差为负时X和Y是负相关关系，协方差为0时X和Y相互独立。

当样本是n维数据时，它们的协方差实际上是协方差矩阵（对称方阵），方阵的边长是C2n。比如对于3维数据(x,y,z)，计算它的协方差就是：

• 第一步，分别求特征的平均值，然后对于所有的样例，都减去对应的均值
• 第二步，求特征协方差矩阵
• 第三步，求协方差的特征值和特征向量
• 第四步，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。
• 第五步，将样本点投影到选取的特征向量上。假设样例数为m，特征数为n，减去均值后的样本矩阵为DataAdjust(mn)，协方差矩阵是nn，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为

整个过程，就是将原始样例的n维特征变成了k维，这k维就是原始特征在k维上的投影。

主成分分析（principal component analysis,PCA）是一种降维技术，把多个变量化为能够反映原始变量大部分信息的少数几个主成分。
设X有p个变量，为n*p阶矩阵，即n个样本的p维向量。首先对X的p个变量寻找正规化线性组合，使它的方差达到最大，这个新的变量称为第一主成分，抽取第一主成分后，第二主成分的抽取方法与第一主成分一样，依次类推，直到各主成分累积方差达到总方差的一定比例。

主成分分析实例

p=princomp(USArrests,cor=TRUE)
summary(p,loadings=TRUE)

----Standard deviation 标准差 其平方为方差=特征值
----Proportion of Variance 方差贡献率
----Cumulative Proportion 方差累计贡献率

screeplot(p,type="lines")

图中的点在第三个成分的下降已经变得非常平稳了，因而选择前两个变量就能获得较好的信息解释，这也就意味着后两个变量可以舍弃。

也可以利用loadings参数中反映的系数值对主成分进行构建方程
y=-0.536murder-0.583assault-0.278urbanpop-0.543rape
y=0.418murder+0.188assault-0.873urbanpop-0.167rape

pre<-predict(p)
pre

对个主成分的值进行预测的结果