Covariance
Gram和協方差矩陣之間的關係
為一個矩陣， 在哪裡, 之間有什麼關係（散點矩陣，協方差矩陣基於）和（外積有時稱為 Gram 矩陣）？
如果一個已知，如何獲得另一個（最好的）？
的奇異值分解 (SVD)表示為
在哪裡是一個列相互正交的矩陣，是一個列相互正交的矩陣，以及是一個具有正值的對角矩陣（的“奇異值”) 在對角線上。一定——這是排名– 不能大於任何一個或者.
使用這個我們計算
和
雖然我們可以恢復通過對角化或者, 前者沒有提供關於後者沒有提供關於. 然而，和彼此完全獨立——從其中一個開始，隨著，可以任意選擇另一個（以正交條件為準），構造一個有效矩陣. 所以包含矩陣共有的所有信息和.
有一個很好的幾何解釋有助於使這一點令人信服。 SVD 允許我們查看任何線性變換（由矩陣表示） 從到就三個易於理解的線性變換而言：
是變換的矩陣那是一對一的（沒有內核）和等距的。也就是說，它旋轉成一個維子空間一個維空間。
同樣是一對一等距變換的矩陣.
積極地重新調整坐標軸在，對應於線性變換將單位球體（用於參考）扭曲成橢球體而不旋轉它。
的轉置,, 對應於線性變換殺死所有向量垂直於. 否則它會旋轉進入. 等效地，你可以想到作為“忽略”任何垂直方向並在其中建立正交坐標系. 直接作用於該坐標系，沿由下式確定的坐標軸擴展各種量（由奇異值指定）. 然後將結果映射到.
與相關的線性變換實際上作用於 通過兩次“往返”：展開系統中由下式確定的坐標經過接著重新做一遍。相似地，對-維子空間由的正交列. 因此，角色是描述子空間中的框架和角色是描述子空間中的框架. 矩陣為我們提供有關第一個空間中的框架的信息，並且告訴我們第二個空間中的框架，但這兩個框架彼此之間沒有任何關係。