使用線性代數的直覺，投影矩陣的秩等於設計矩陣的秩
使用線性代數來解釋，有人可以展示一下直覺嗎？我可以通過使用等級的屬性來證明等級是相同的，但是除了模糊地思考之外，我無法理解整個投影的事情。
讓觀察次數為 n ， 讓 p 計算參數，然後讓 r 指定排名_ n×p 設計矩陣 X （根據定義，它是圖像的維度 X ).
SVD
奇異值分解表示 X 作為產品
X=UΣV′
矩陣在哪裡 U （方面 n×r ） 和 V （方面 p×r ) 是正交的並且 Σ 是一個 r×r 沒有零的對角矩陣。一個非零 X 總是有一個 SVD。
（這是一個證明： V 必須是的特徵向量 X′X 對應於非零特徵值，而 U 必須是的特徵向量 XX′ 對應於非零特徵值。那些特徵向量和特徵值存在是因為兩者 X′X 和 XX′ 是非零實對稱矩陣：這是譜定理的一部分。儘管在 SVD 中，所有元素都被安排為 Σ 是非負的，我們在這裡不需要它。）
解釋 SVD
查看 SVD 的一種方法是它表示 X 作為列的線性組合 U ：係數是 ΣV′ . 因此你可能會想到 U 作為圖像的正交框架 X ，這是一個 r 維子空間 W⊂Rn . （“正交”表示“正交”和單位長度；“正交”表示相互垂直，這是一個至關重要的簡化。）確實，從幾何角度考慮這一點很有吸引力：在為所有相關向量空間選擇基時，對於 β∈Rp , X 確定一個線性變換 Rp 進入 Rn 分三個步驟：
- β→V′β 是一個向量 Rr .
- Σ 重新調整每個 r 的基向量 Rr .
- 所結果的 r 係數確定的列的線性組合 U : 就是一個唯一的向量 W . （相當於原來的 r 係數 V′β 指定正交列的線性組合 UΣ .)
的形象 β 在步驟 (1) 中包含由 r 行 V ，因此有維度 r . 因為對角線元素 Σ 非零，（2）中的重新縮放不會改變該維度。因此（3）中生成的空間的維數也是 r . 因此，排名 X 是 r .
在統計語言中， V 找到參數的可識別線性組合 β 和對角線元素 Σ 在空間中建立比例因子 W 跨越的列 X ，這是所有可能向量的空間 y 可以精確地表示為這些列的線性組合。
更多關於預測
這是一個相關的代數論證。
任何正交框架 U 確定一個投影矩陣 UU′ . 具體來說，左乘任何向量 y∈Rn 經過 U′ 計算係數 y 對於每一列 U . 顯然這有排名 r ：因為列 U 每個都被投影到自己身上，線性變換的圖像 UU′ 正是 W .
您可能知道“投影矩陣”的另一種外觀公式：即， P=X(X′X)−X′ 在哪裡 (X′X)− 是的廣義逆 X′X . 使用 SVD，我們可以簡化：
P=(UΣV′)((UΣV′)′,(UΣV′))−(UΣV′)′=UU′.
這是因為形式的條款 V′V=Ir=U′U 是恆等矩陣，在乘法中消失，而廣義逆 Σ2 只是 Σ−2 .
現在很明顯 P 有等級 r .