如果使用所有 PC，PCA 是否提供優勢？

這個問題基本上在標題中說明了。如果以後使用所有主成分，主成分分析是否會提供優勢？在我正在查看的應用程序中，PCA 是在簡單回歸之前進行的。作者聲稱，如果所有 PC 都包含在回歸中，則結果將等同於原始特徵集上的 OLS。這是真的？

PC 只是原始特徵的線性組合。例如，如果有兩個特徵， x 和 y ，在 PC 上映射的功能將類似於 f1=α1x+β1y ， 和 f2=α2x+β2y . 所以，這只是軸的變化。

在普通的線性回歸中，目標變量用特徵的線性組合來表示，即 y=ax+by+k . 使用作為舊特徵線性組合的新特徵將生成等效方程。例如，對於兩個功能，這將如下所示：y=cf1+df2+k=c(α1x+β1y)+d(α2x+β2y)+k&=(cα1+dα2)⏟ax+(cβ1+dβ2)⏟by+k

OLS 就是這種情況，但總的來說，使用所有 PC 有優勢嗎？或許。擁有正交軸對於您將執行的下游分析可能至關重要，具體取決於您所追求的，因此不可能將其推廣到所有 ML。

引用自：https://stats.stackexchange.com/questions/535597