Pca
PCA 目標函數：最大化方差和最小化誤差之間有什麼聯繫？
PCA 算法可以用相關矩陣表示（假設數據已經標準化，我們只考慮投影到第一台 PC 上）。目標函數可以寫成：
這很好，我們使用拉格朗日乘數來解決它，即將它重寫為：
這相當於
因此（請參見 Mathworld 上的此處）似乎等於
但這是說要最大化點和線之間的距離，從我在這裡讀到的內容來看，這是不正確的——應該是， 不是. 我的錯誤在哪裡？
或者，有人可以告訴我最大化投影空間的方差和最小化點和線之間的距離之間的聯繫嗎？
讓是一個居中的數據矩陣行中的觀察。讓是它的協方差矩陣。讓是指定變量空間中的軸的單位向量。我們想要成為第一主軸。
根據第一種方法，第一主軸最大化投影的方差（第一主成分的方差）。該方差由
根據第二種方法，第一主軸最小化之間的重建誤差及其重建，即原始點與其投影之間的平方距離之和. 重構誤差的平方由下式給出
注意主要術語之前的減號。因此，最小化重建誤差等於最大化，這是方差。所以最小化重構誤差就等於最大化方差；兩種配方產生相同的.