线性代数中，特征值与特征向量在代数和几何层面的实际意义是什么？

从定义出发，Ax=cx：A为矩阵，c为特征值，x为特征向量。

矩阵A乘以x表示，对向量x进行一次转换（旋转或拉伸）（是一种线性转换），而该转换的效果为常数c乘以向量x（即只进行拉伸）。

我们通常求特征值和特征向量即为求出该矩阵能使哪些向量（当然是特征向量）只发生拉伸，使其发生拉伸的程度如何（特征值大小）。这样做的意义在于，看清一个矩阵在那些方面能产生最大的效果（power），并根据所产生的每个特征向量（一般研究特征值最大的那几个）进行分类讨论与研究。

20171201更：

短短几句话能帮到很多人真的很开心，谢谢大家的赞，我最近也有时间更进一步地探讨实践中我对PCA方法的理解，没有推导，大家可以放心食用：EOF/PCA的python实践

写另一个答案的时候恰好从几何角度举了个带图的小例子，贴过来供参考：

=======================================================

一、先从旋转和缩放角度，理解一下特征向量和特征值的几何意义

从定义来理解特征向量的话，就是经过一个矩阵变换后，空间沿着特征向量的方向上相当于只发生了缩放，比如我们考虑下面的矩阵：

\begin{bmatrix}<br>1.5 & 0.5\\ <br>0.5 & 1.0<br>\end{bmatrix}

求这个变换的特征向量和特征值，分别是：

U=\begin{bmatrix}<br>0.85 & -0.53\\ <br>0.53 & 0.85<br>\end{bmatrix}（列向量）

和

1.81，0.69

用一个形象的例子来说明一下几何意义，我们考虑下面笑脸图案：

为方便演示笑脸图案在0,0和1,1围起来的单位正方形里，同时也用两个箭头标出来了特征向量的方向。经过\begin{bmatrix}<br>1.5 & 0.5\\ <br>0.5 & 1.0<br>\end{bmatrix}的变换，也就是用这个图案中的每个点的坐标和这个矩阵做乘法，得到下面图案：

可以看到就是沿着两个正交的，特征向量的方向进行了缩放。这就是特征向量的一般的几何理解，这个理解我们也可以分解一下，从旋转和沿轴缩放的角度理解，分成三步：

第一步，把特征向量所指的方向分别转到横轴和纵轴

这一步相当于用U的转置，也就是U^{T}进行了变换

第二步，然后把特征值作为缩放倍数，构造一个缩放矩阵\begin{bmatrix}<br>1.81 & 0\\ <br>0 & 0.69<br>\end{bmatrix}，矩阵分别沿着横轴和纵轴进行缩放：

第三步，很自然地，接下来只要把这个图案转回去，也就是直接乘U就可以了

所以，从旋转和缩放的角度，一个矩阵变换就是，旋转-->沿坐标轴缩放-->转回来，的三步操作，表达如下：
T=U \Sigma U ^{T}
多提一句，这里给的是个(半)正定矩阵的例子，对于不对称的矩阵，也是能分解为，旋转-->沿坐标轴缩放-->旋转，的三步的，只不过对不对称矩阵，最后一步和第一步的两个旋转不是转回去的关系了，表达如下：
T=U \Sigma V^{T}
这个就是SVD分解，就不详细说了。
另外，这个例子是二维的，高维类似，但是形象理解需要脑补。

==================================================

如果对协方差矩阵和特征值特征向量的关系有兴趣，原答案地址：