兩個變量的相關矩陣是否總是具有相同的特徵向量？
我使用兩個標準化的變量進行主成分分析。這是通過在相關變量的相關矩陣上應用 SVD 來完成的。但是，無論兩個變量是什麼，SVD 都會給我相同的特徵向量（權重）。它總是
[.70710678, .70710678]。我覺得這很奇怪。當然，特徵值不同。我的問題是：如何解釋這個？
PS。我想對兩個變量進行總最小二乘回歸。我的統計程序不提供 TLS，但幸運的是，據我所知，TLS 等於主成分分析。因此我的問題。問題不直接與 TLS 有關，而是為什麼我得到相同的特徵向量，而不管我使用哪些變量（只要它們正好是 2）。
**在代數上，**兩個變量的相關矩陣如下所示：$$ \begin{pmatrix} 1 & \rho \ \rho & 1 \end{pmatrix}. $$根據特徵向量的定義，很容易驗證 $ (1, 1) $ 和 $ (-1, 1) $ 是特徵向量，與 $ \rho $ , 帶有特徵值 $ 1+\rho $ 和 $ 1-\rho $ . 例如：
$$ \begin{pmatrix} 1 & \rho \ \rho & 1 \end{pmatrix}\begin{pmatrix}1\1\end{pmatrix}=(\rho+1)\begin{pmatrix}1\1\end{pmatrix}. $$
將這兩個特徵向量歸一化為單位長度產生 $ (\sqrt{2}/2, \sqrt{2}/2) $ 和 $ (-\sqrt{2}/2, \sqrt{2}/2) $ ，正如你所觀察到的。
**在幾何上，**如果變量是標準化的，那麼散點圖將始終沿主對角線（將是第一個 PC）拉伸，如果 $ \rho>0 $ ，無論是什麼值 $ \rho $ 是：
關於 TLS，您可能想在此線程中查看我的答案：如何通過 PCA 執行正交回歸（總最小二乘）？從上圖中應該很明顯，如果您的 $ x $ 和 $ y $ 是標準化的，則 TLS 線始終是對角線。所以執行 TLS 幾乎沒有意義！但是，如果變量沒有標準化，那麼您應該在它們的協方差矩陣（而不是它們的相關矩陣）上進行 PCA，並且回歸線可以有任何斜率。
有關三個維度的情況的討論，請參見此處：https ://stats.stackexchange.com/a/19317 。
