Regression
如果使用所有 PC，PCA 是否提供優勢？
這個問題基本上在標題中說明了。如果以後使用所有主成分，主成分分析是否會提供優勢？在我正在查看的應用程序中，PCA 是在簡單回歸之前進行的。作者聲稱，如果所有 PC 都包含在回歸中，則結果將等同於原始特徵集上的 OLS。這是真的？
PC 只是原始特徵的線性組合。例如，如果有兩個特徵， $ x $ 和 $ y $ ，在 PC 上映射的功能將類似於 $ f_1=\alpha_1 x+\beta_1 y $ ， 和 $ f_2=\alpha_2x+\beta_2y $ . 所以，這只是軸的變化。
在普通的線性回歸中，目標變量用特徵的線性組合來表示，即 $ y=ax+by+k $ . 使用作為舊特徵線性組合的新特徵將生成等效方程。例如，對於兩個功能，這將如下所示：$$ \begin{align}y&=cf_1+df_2+k=c(\alpha_1x+\beta_1y)+d(\alpha_2x+\beta_2y)+k\&=\underbrace{(c\alpha_1+d\alpha_2)}_ax + \underbrace{(c\beta_1+d\beta_2)}_by+k\end{align} $$
OLS 就是這種情況，但總的來說，使用所有 PC 有優勢嗎？或許。擁有正交軸對於您將執行的下游分析可能至關重要，具體取決於您所追求的，因此不可能將其推廣到所有 ML。