主成份（Principal Component Analysis）分析是降维（Dimension Reduction）的重要手段。每一个主成分都是数据在某一个方向上的投影，在不同的方向上这些数据方差Variance的大小由其特征值（eigenvalue）决定。一般我们会选取最大的几个特征值所在的特征向量（eigenvector），这些方向上的信息丰富，一般认为包含了更多我们所感兴趣的信息。当然，这里面有较强的假设：（1）特征根的大小决定了我们感兴趣信息的多少。即小特征根往往代表了噪声，但实际上，向小一点的特征根方向投影也有可能包括我们感兴趣的数据； （2）特征向量的方向是互相正交（orthogonal）的，这种正交性使得PCA容易受到Outlier的影响，例如在【1】中提到的例子（3）难于解释结果。例如在建立线性回归模型（Linear Regression Model）分析因变量（response）和第一个主成份的关系时，我们得到的回归系数（Coefficiency）不是某一个自变量（covariate）的贡献，而是对所有自变量的某个线性组合（Linear Combination）的贡献。
在Kernel PCA分析之中，我们同样需要这些假设，但不同的地方是我们认为原有数据有更高的维数，我们可以在更高维的空间（Hilbert Space）中做PCA分析（即在更高维空间里，把原始数据向不同的方向投影）。这样做的优点有：对于在通常线性空间难于线性分类的数据点，我们有可能再更高维度上找到合适的高维线性分类平面。我们第二部分的例子就说明了这一点。
本文写作的动机是因为作者没有找到一篇好的文章（看了wikipedia和若干google结果后）深层次介绍PCA和Kernel PCA之间的联系，以及如何以公式形式来解释如何利用Kernel PCA来做投影，特别有些图片的例子只是展示了结果和一些公式，这里面具体的过程并没有涉及。希望这篇文章能做出较好的解答。
1. Kernel Principal Component Analysis 的矩阵基础
我们从解决这几个问题入手：传统的PCA如何做？在高维空间里的PCA应该如何做？如何用Kernel Trick在高维空间做PCA？如何在主成分方向上投影？如何Centering 高维空间的数据？
1.1 传统的PCA如何做？
让我先定义如下变量： X=[x1,x2,…,xN] 是一个d×N矩阵，代表输入的数据有N 个，每个sample的维数是d。我们做降维，就是想用k维的数据来表示原始的d维数据（k≤d）。
当我们使用centered的数据（即∑ixi=0）时，可定义协方差矩阵C为：
C=1NxixTi=1NXXT
做特征值分解，我们可以得到：
CU=UΛ?C=UΛUT=∑aλauauTa
注意这里的C,U,Λ的维数都是d×d, 且
U=[u1,u2,…,ud], Λ=diag(λ1,λ2,…,λd)。
当我们做降维时，可以利用前k个特征向量Uk=[u1,u2,…,uk]。则将一个d维的xi向k维的主成分的方向投影后的yi=UTkxi （这里的每一个ui都是d维的，代表是一个投影方向，且uTiui=1，表示这是一个旋转变量）
1.2 在高维空间里的PCA应该如何做？
高维空间中，我们定义一个映射Φ:Xd→F，这里F表示Hilbert泛函空间。
现在我们的输入数据是Φ(xi),i=1,2,…n， 他们的维数可以说是无穷维的（泛函空间）。 在这个新的空间中，假设协方差矩阵同样是centered，我们的协方差矩阵为：
Cˉ=1NΦ(xi)Φ(xi)T=1NΦ(X)Φ(X)T
这里有一个陷阱，我跳进去过：
在对Kernel trick一知半解的时候，我们常常从形式上认为Cˉ可以用
Ki,j=K(xi,xj)来代替，
因此对K=(Kij)做特征值分解，然后得到K=UΛUT，并且对原有数据降维的时候，定义Yi=UTkXi。
但这个错误的方法有两个问题：一是我们不知道矩阵Cˉ的维数；二是UTkXi从形式上看不出是从高维空间的Φ(Xi)投影，并且当有新的数据时，我们无法从理论上理解UTkXnew是从高维空间的投影。
如果应用这种错误的方法，我们有可能得到看起来差不多正确的结果，但本质上
这是错误的。
正确的方法是通过Kernel trick将PCA投影的过程通过内积的形式表达出来，详细见1.3
1.3 如何用Kernel Trick在高维空间做PCA？
在1.1节中，通过PCA，我们得到了U矩阵。这里将介绍如何仅利用内积的概念来计算传统的PCA。
首先我们证明U可以由x1,x2,…,xN展开（span)：
Cua=λaua
ua=1λaCu=1λa(∑ixixTi)u=1λa∑ixi(xTiu)=1λa∑i(xTiu)xi=∑ixTiuλaxi=∑iαaixi
这里定义αai=xTiuλa。
因为xTiu 是一个标量（scala），所以αai也是一个标量，因此ui 是可以由
xi张成。
进而我们显示PCA投影可以用内积运算表示，例如我们把xi向任意一个主成分分量ua进行投影，得到的是uTaxi，也就是xTiua 。作者猜测写成这种形式是为了能抽出
xTixj=
xTiCuaxTi1N∑jxjxTj∑kαakxk∑jαak∑k(xTixj)(xTjxk)=λaxTiua=λaxTi∑kαakxk=Nλa∑kαak(xTixk)
当我们定义Kij=xTixj时，上式可以写为K2α=NλaKαa