Mathematical-Statistics
為什麼 PCA 特徵向量是正交的，與 PCA 分數不相關的關係是什麼？
我正在閱讀 PCA，除了假設特徵向量需要正交以及它如何與不相關的投影（PCA 分數）相關的假設之外，我正在了解推導方面的大部分情況？我在下面提供了兩種解釋，它們使用正交性和相關性之間的聯繫，但未能真正解釋它：ONE，TWO。
在第二張圖片中，它說條件 被施加以確保投影將不相關. 有人可以提供一個例子來說明為什麼正交向量確保不相關的變量？
如果我選擇不正交的向量，PCA 會發生什麼？這甚至可能嗎？我在其他地方讀到正交性只是協方差矩陣對稱的副產品，這表明不可能有非成對正交特徵向量。然而，在尋找最“合適”矩陣的第一張圖片中，它幾乎就像我們選擇的那樣正交給我們一個更方便的矩陣一個有很好的屬性。
我已經閱讀了有關該主題的其他帖子，但對將直覺與不相關的變量結合起來並不滿意。我真的很感謝任何幫助理解這種混亂！
我將嘗試解釋正交性如何和確保和不相關。我們想要最大化. 除非我們限制，否則這將無法實現, 在這種情況下. 這種優化需要使用拉格朗日乘數（它並不太複雜，請在 Wikipedia 上閱讀）。因此，我們試圖最大化
關於兩者和. 請注意，相對於然後等於給出我們的約束. 差異化給
或者
方差將被最大特徵值最大化. 因此. 下面是回答您問題的部分。使用協方差定義的一些基本計算將表明
這將等於當且僅當.