如何理解矩阵特征值？

看了大部分的回答，基本都没有回答出为什么要求特征值。

特征值和特征向量是为了研究向量在经过线性变换后的方向不变性而提出的，一个空间里的元素通过线性变换到另一个相同维数的空间，那么会有某些向量的方向在变换前后不会改变，方向不变但是这些向量的范数可能会改变，我这里说的都是实数空间的向量。

定义x'=Ax，定义x为原始空间中的向量，x'为变换后空间的向量，简单起见令A为n阶方阵且特征值\lambda_{1}, \lambda_{2}, \cdot \cdot \cdot ,\lambda_{n}互不相同，对应的特征向量P_{1},P_{2},\cdot \cdot \cdot , P_{n}线性无关。那么原始空间中的任何一个向量都可以由A的特征向量表示，既x=k_{1}P_{1}+k_{2}P_{2}+\cdot \cdot \cdot +k_{n}P_{n}那么在变换到另一个空间时Ax=\lambda_{1}k_{1}P_{1}+\lambda_{2}k_{2}P_{2}+\cdot \cdot \cdot +\lambda_{n}k_{n}P_{n}，这就求完了！

好，下面再说更深层次的含义。

在不同的领域特征值的大小与特征向量的方向所表示的含义也不同，但是从数学定义上来看，每一个原始空间中的向量都要变换到新空间中，所以他们之间的差异也会随之变化，但是为了保持相对位置，每个方向变换的幅度要随着向量的分散程度进行调整。

你们体会一下拖拽图片使之放大缩小的感觉。

如果A为样本的协方差矩阵，特征值的大小就反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，换句话说这个方向上的元素更分散。