在因子分析/PCA 中進行旋轉的直觀原因是什麼以及如何選擇合適的旋轉？
我的問題
- 在因子分析（或 PCA 中的組件）中進行因子旋轉背後的直觀原因是什麼？
我的理解是，如果變量在頂部組件（或因子）中幾乎相同地加載，那麼顯然很難區分這些組件。因此，在這種情況下，可以使用旋轉來更好地區分組件。這個對嗎？ 2. 輪換的後果是什麼？這會影響什麼？ 3. 如何選擇合適的輪換？有正交旋轉和傾斜旋轉。如何在這些之間進行選擇，這種選擇的含義是什麼？
請用最少的數學方程直觀地解釋。很少有分散的答案是數學繁重的，但出於直觀原因和經驗法則，我正在尋找更多。
- 輪換的原因。進行旋轉是為了解釋因子分析中提取的因子（或 PCA 中的組件，如果您冒險使用 PCA 作為因子分析技術）。當你描述你的理解時，你是對的。旋轉是為了追求加載矩陣的某種結構，可以稱為簡單結構。這是當不同的因素傾向於加載不同的變量時 $ ^1 $ . [我認為說“一個因子加載一個變量”比“一個變量加載一個因子”更正確，因為它是“在”或“後面”變量的因子使它們相關，但你可能會說隨你喜歡。] 從某種意義上說，典型的簡單結構是相關變量的“集群”出現的地方。然後，您將一個因子解釋為位於該因子足夠加載的變量的含義的*交集上的含義；*因此，要獲得不同的含義，因子應該不同地加載變量。一個經驗法則是，一個因子應該至少加載 3 個變量。
- 後果。旋轉不會改變變量在因子空間中相對於彼此的位置，即保持變量之間的相關性。改變的是變量向量端點在因子軸上的坐標 - 載荷（請在此站點搜索“加載圖”和“雙圖”，以獲取更多信息） $ ^2 $ . 在加載矩陣的正交旋轉之後，因子方差發生了變化，但因子保持不相關，並且保留了可變的公共性。
在傾斜旋轉中，如果這會產生更清晰的“簡單結構”，則允許因子失去它們的不相關性。然而，相關因素的解釋是一門更難的藝術，因為你必須從一個因素中獲得意義，以免它污染與之相關的另一個因素的意義。這意味著您必須並行地解釋因素，而不是一一解釋。傾斜旋轉給您留下兩個負載矩陣，而不是一個：模式矩陣 $ \bf P $ 和結構矩陣 $ \bf S $ . ( $ \bf S=PC $ ， 在哪裡 $ \bf C $ 是因子之間的相關矩陣； $ \bf C=Q’Q $ ， 在哪裡 $ \bf Q $ 是傾斜旋轉的矩陣： $ \bf S=AQ $ ， 在哪裡 $ \bf A $ 是任何旋轉之前的加載矩陣。）模式矩陣是回歸權重的矩陣，因子通過它預測變量，而結構矩陣是因子和變量之間的相關性（或協方差）。大多數時候，我們通過模式載荷來解釋因子，因為這些係數代表了因子對變量的獨特投資。傾斜旋轉保留了可變的公共性，但公共性不再等於行中的平方和 $ \bf P $ 或在 $ \bf S $ . 此外，由於因素相關，它們的方差部分疊加 $ ^3 $ .
當然，正交和傾斜旋轉都會影響您可能想要計算的因子/分量分數（請在本網站上搜索“因子分數”）。實際上，旋轉會為您提供其他因素，而不是您剛剛提取後的因素 $ ^4 $ . 他們繼承了他們的預測能力（對於變量及其相關性），但他們會從你那裡得到不同的實質性意義。旋轉後，您可能不會說“這個因素比那個更重要”，因為它們是相互旋轉的（老實說，在 FA 中，與 PCA 不同，即使在提取後你也可能很難說，因為因素被建模為已經“重要”）。
- 選擇。有許多形式的正交和傾斜旋轉。為什麼？首先，因為“簡單結構”的概念並不是一成不變的，可以用不同的方式表述。例如，varimax - 最流行的正交方法 - 試圖使每個因子的載荷平方值之間的方差最大化；有時使用的正交方法quartimax最小化了解釋變量所需的因子數量，並且經常產生所謂的“一般因子”。其次，除了結構簡單外，不同的旋轉針對不同的側目標。我不會詳細介紹這些複雜主題，但您可能想自己閱讀它們。
應該更喜歡正交還是傾斜旋轉？好吧，正交因子更容易解釋，整個因子模型在統計上更簡單（當然是正交預測因子）。但是在那裡你對你想要發現的潛在特徵施加正交性；你確定它們在你研究的領域應該是不相關的嗎？如果他們不是呢？傾斜旋轉方法 $ ^5 $ （儘管每個人都有自己的傾向）允許但不強制因素相關，因此限制較少。如果傾斜旋轉表明因素只是弱相關，你可能會確信“實際上”確實如此，然後你可能會良心轉向正交旋轉。另一方面，如果因素非常相關，它看起來不自然（對於概念上不同的潛在特徵，特別是如果您正在開發心理學等方面的清單，請記住一個因素本身就是一個單變量特徵，而不是一批現象），您可能希望提取更少的因子，或者使用傾斜結果作為批處理源來提取所謂的二階因子。
$ ^1 $ 瑟斯通提出了結構簡單的五個理想條件。最重要的三個是：（1）每個變量必須至少有一個接近零的負載；(2) 對於至少m個變量，每個因子必須具有接近於零的載荷（m是因子的數量）；(3) 對於每對因子，至少有m個變量，其中一個變量的載荷接近於零，而另一個變量的載荷離零足夠遠。因此，對於每對因子，它們的加載圖在理想情況下應該類似於：
這是純粹的探索性 FA，而如果你正在做和重做 FA 來開發一份問卷，你最終會想要放棄除藍色分數之外的所有分數，前提是你只有兩個因素。如果有兩個以上的因子，您將希望其他一些因子的負載圖的紅點變為藍色。
$ ^2 $
$ ^3 $ 因子（或分量）的方差是其平方結構載荷的總和 $ \bf S $ ，因為它們是變量和（單位尺度）因子之間的協方差/相關性。傾斜旋轉後，因子可以相關，因此它們的方差相交。因此，它們的方差之和 SS 在 $ \bf S $ ，超過了解釋的整體社區，SS 在 $ \bf A $ . 如果您想在因子 i 之後僅計算其方差的唯一“乾淨”部分，請將方差乘以 $ 1-R_i^2 $ 因素對其他因素的依賴程度，稱為反形象量。它是第 i 個對角元素的倒數 $ \bf C^{-1} $ . 方差的“乾淨”部分的總和將小於所解釋的整體公共性。
$ ^4 $ 您可能不會說“第一個因素/組件以這種或那種方式旋轉改變”，因為旋轉負載矩陣中的第一個因素/組件與未旋轉負載矩陣中的第一個因素/組件是不同的因素/組件。相同的序數（“1st”）具有誤導性。
$ ^5 $ 兩個最重要的傾斜方法是promax和oblimin。Promax 是對 varimax 的斜增強：基於 varimax 的結構隨後被鬆散，以更大程度地滿足“簡單結構”。它通常用於驗證性 FA。Oblimin 非常靈活，因為它的參數 gamma 當設置為 0 時，使 oblimin 採用 quartimin 方法產生大多數斜解。gamma 為 1 產生最小傾斜解，即 covarimin，它是 promax 的另一種基於 varimax 的傾斜方法的替代方法。所有傾斜方法都可以是直接（=主要）和間接（=次要）版本 - 請參閱文獻。所有的旋轉，無論是正交還是傾斜，都可以通過Kaiser 歸一化來完成（通常）或沒有它。歸一化使所有變量在旋轉時同樣重要。
一些線程供進一步閱讀：
有理由根本不輪換因素嗎？（也檢查一下。）
