矩阵的奇异值分解定理：

设矩阵，秩为，，则该矩阵可以分解为：

也可以表示为：

。

其中：为矩阵（或者）的非零向量,为的对应特征向量，为的对应特征向量，。

SVD的第一个作用之低秩近似（Low Rank Approximation）：

，，

即用矩阵近似。

SVD的第二个作用之特征降维（Dimensionality Reduction）：

假设特征是按列存储的，即：

，

其中，。

我们在低秩近似中已经用近似表示了。

则根据分块矩阵的乘法，我们很容易得到：

，。

令：

。

因为，是相互正交的，所以根据

，

显然可以得出，可以近似由，张成，所以我们得出结论：

m维的，可以降到维的，。