Pca
PCA的目標函數是什麼？
主成分分析可以使用矩陣分解，但這只是實現目標的工具。
如果不使用矩陣代數，你將如何找到主成分？
什麼是目標函數（goal），約束是什麼？
在不嘗試全面介紹 PCA 的情況下，從優化的角度來看，主要目標函數是瑞利商。商中的矩陣是樣本協方差矩陣的（一些倍數）
其中每個是一個向量特點和是矩陣使得第行是. PCA 旨在解決一系列優化問題。序列中的第一個是無約束問題
自從, 上述無約束問題等價於有約束問題
這就是矩陣代數的用武之地。因為是一個對稱的半正定矩陣（通過構造！）它具有形式的特徵值分解
在哪裡是一個正交矩陣（所以） 和是具有非負項的對角矩陣這樣. 因此，. 自從被限制在問題的範數為一，那麼也是自從, 憑藉是正交的。
但是，如果我們想最大化數量在約束條件下, 那麼我們能做的最好的就是設置， 那是，和為了.
現在，退出相應的，這是我們首先尋求的，我們得到了
在哪裡表示第一列，即最大特徵值對應的特徵向量. 目標函數的值也很容易看出是.
然後通過求解序列找到剩餘的主成分向量（索引為) 的優化問題
所以，問題是一樣的，除了我們添加了額外的約束，即解決方案必須與序列中所有先前的解決方案正交。不難歸納地擴展上述論證以證明問題是，確實，， 這的特徵向量.
PCA 解也經常用奇異值分解的形式表示. 要了解原因，讓. 然後所以（嚴格來說，直到簽名翻轉）和.
主成分通過投影找到到主成分向量上。從剛才給出的 SVD 公式，不難看出
用特徵矩陣的 SVD 表示主成分向量和主成分本身的簡單性是 SVD 特徵在 PCA 的某些處理中如此突出的原因之一。