使用線性代數的直覺，投影矩陣的秩等於設計矩陣的秩
使用線性代數來解釋，有人可以展示一下直覺嗎？我可以通過使用等級的屬性來證明等級是相同的，但是除了模糊地思考之外，我無法理解整個投影的事情。
讓觀察次數為 $ n $ ， 讓 $ p $ 計算參數，然後讓 $ r $ 指定排名_ $ n\times p $ 設計矩陣 $ X $ （根據定義，它是圖像的維度 $ X $ ).
SVD
奇異值分解表示 $ X $ 作為產品
$$ X = U\Sigma V^\prime $$
矩陣在哪裡 $ U $ （方面 $ n\times r $ ） 和 $ V $ （方面 $ p \times r $ ) 是正交的並且 $ \Sigma $ 是一個 $ r\times r $ 沒有零的對角矩陣。一個非零 $ X $ 總是有一個 SVD。
（這是一個證明： $ V $ 必須是的特徵向量 $ X^\prime X $ 對應於非零特徵值，而 $ U $ 必須是的特徵向量 $ XX^\prime $ 對應於非零特徵值。那些特徵向量和特徵值存在是因為兩者 $ X^\prime X $ 和 $ XX^\prime $ 是非零實對稱矩陣：這是譜定理的一部分。儘管在 SVD 中，所有元素都被安排為 $ \Sigma $ 是非負的，我們在這裡不需要它。）
解釋 SVD
查看 SVD 的一種方法是它表示 $ X $ 作為列的線性組合 $ U $ ：係數是 $ \Sigma V^\prime $ . 因此你可能會想到 $ U $ 作為圖像的正交框架 $ X $ ，這是一個 $ r $ 維子空間 $ \mathbb W\subset \mathbb{R}^n $ . （“正交”表示“正交”和單位長度；“正交”表示相互垂直，這是一個至關重要的簡化。）確實，從幾何角度考慮這一點很有吸引力：在為所有相關向量空間選擇基時，對於 $ \beta\in\mathbb{R}^p $ , $ X $ 確定一個線性變換 $ \mathbb{R}^p $ 進入 $ \mathbb{R}^n $ 分三個步驟：
- $ \beta \to V^\prime \beta $ 是一個向量 $ \mathbb{R}^r $ .
- $ \Sigma $ 重新調整每個 $ r $ 的基向量 $ \mathbb{R}^r $ .
- 所結果的 $ r $ 係數確定的列的線性組合 $ U $ : 就是一個唯一的向量 $ \mathbb W $ . （相當於原來的 $ r $ 係數 $ V^\prime \beta $ 指定正交列的線性組合 $ U\Sigma $ .)
的形象 $ \beta $ 在步驟 (1) 中包含由 $ r $ 行 $ V $ ，因此有維度 $ r $ . 因為對角線元素 $ \Sigma $ 非零，（2）中的重新縮放不會改變該維度。因此（3）中生成的空間的維數也是 $ r $ . 因此，排名 $ X $ 是 $ r $ .
在統計語言中， $ V $ 找到參數的可識別線性組合 $ \beta $ 和對角線元素 $ \Sigma $ 在空間中建立比例因子 $ \mathbb W $ 跨越的列 $ X $ ，這是所有可能向量的空間 $ y $ 可以精確地表示為這些列的線性組合。
更多關於預測
這是一個相關的代數論證。
任何正交框架 $ U $ 確定一個投影矩陣 $ UU^\prime $ . 具體來說，左乘任何向量 $ y\in\mathbb{R}^n $ 經過 $ U^\prime $ 計算係數 $ y $ 對於每一列 $ U $ . 顯然這有排名 $ r $ ：因為列 $ U $ 每個都被投影到自己身上，線性變換的圖像 $ UU^\prime $ 正是 $ \mathbb W $ .
您可能知道“投影矩陣”的另一種外觀公式：即， $ P=X(X^\prime X)^{-} X^\prime $ 在哪裡 $ (X^\prime X)^{-} $ 是的廣義逆 $ X^\prime X $ . 使用 SVD，我們可以簡化：
$$ P = (U\Sigma V^\prime)((U\Sigma V^\prime)^\prime, (U\Sigma V^\prime))^{-} (U\Sigma V^\prime)^\prime = UU^\prime. $$
這是因為形式的條款 $ V^\prime V=I_r=U^\prime U $ 是恆等矩陣，在乘法中消失，而廣義逆 $ \Sigma^2 $ 只是 $ \Sigma ^{-2} $ .
現在很明顯 $ P $ 有等級 $ r $ .