首先做什麼ķķk因子分析中的因子最大化？
在主成分分析中，第一個主要成分是 具有最大方差的*正交方向。*換句話說，第一個主成分被選為方差最大的方向，第二個主成分被選為與第一個主成分正交且方差最大的方向，以此類推。
因子分析是否有類似的解釋？例如，我認為第一個因子是最能解釋原始相關矩陣的非**對角分量的因子（例如，原始相關矩陣和由因子定義的相關矩陣之間的平方誤差）。這是真的嗎（或者我們可以說類似的話）？
PCA 主要是一種數據縮減技術，其目標是獲得數據到低維空間的投影。兩個等效的目標是迭代地最大化方差或最小化重建誤差。這實際上在上一個問題的答案中的一些細節中得到了解決。
相比之下，因子分析主要是一個生成模型維數據向量這麼說
在哪裡是個潛在因素的維向量，是和和是不相關誤差的向量。這矩陣是因子載荷矩陣。這產生協方差矩陣的特殊參數化為
這個模型的問題是它被過度參數化了。如果得到相同的模型被替換為對於任何正交矩陣，這意味著因素本身不是唯一的。存在各種解決此問題的建議，但沒有一個解決方案可以為您提供您所要求的解釋類型的因素。一種流行的選擇是varimax旋轉。但是，使用的標準僅確定旋轉。跨越的列空間不會改變，並且由於這是參數化的一部分，因此它由用於估計的任何方法確定- 比如說，通過高斯模型中的最大似然。 因此，要回答這個問題，使用因子分析模型不會自動給出選擇的因子，因此沒有單一的解釋第一個因素。您必須指定用於估計的方法（的列空間）以及用於選擇旋轉的方法。如果（所有誤差具有相同的方差）列空間的 MLE 解是前導跨越的空間主成分向量，可以通過奇異值分解找到。當然，可以選擇不旋轉並將這些主成分向量報告為因子。
編輯：為了強調我的看法，因子分析模型是協方差矩陣作為等級的模型矩陣加上一個對角矩陣。因此，該模型的目標是最好地解釋協方差矩陣上的這種結構的協方差。解釋是協方差矩陣上的這種結構與未觀察到的維度因素。不幸的是，這些因素不能唯一地恢復，並且如何在一組可能的因素中選擇它們與數據的解釋沒有任何關係。與 PCA 一樣，可以預先對數據進行標準化，從而擬合一個試圖將相關矩陣解釋為等級的模型加上一個對角矩陣。