偏最小二乘法、降秩回歸和主成分回歸之間有什麼聯繫？
降秩回歸和主成分回歸只是偏最小二乘的特例嗎？
本教程（第 6 頁，“目標比較”）指出，當我們在不投影 X 或 Y 的情況下進行偏最小二乘法（即“不偏”）時，它相應地變為降秩回歸或主成分回歸。
在這個 SAS 文檔頁面，“降低秩回歸”和“方法之間的關係”部分也有類似的聲明。
一個更基本的後續問題是它們是否具有相似的潛在概率模型。
這是三種不同的方法，不能將它們視為另一種的特例。
形式上，如果和是居中的預測器（) 和響應 () 數據集，如果我們尋找第一對軸，為了和為了，那麼這些方法最大化以下數量：
（我在此列表中添加了典型相關分析 (CCA)。）
我懷疑這種混淆可能是因為在 SAS 中，所有三種方法似乎都是通過
PROC PLS具有不同參數的相同函數實現的。因此，這三種方法似乎都是 PLS 的特殊情況，因為這就是 SAS 函數的命名方式。然而，這只是一個不幸的命名。實際上，PLS、RRR 和 PCR 是三種不同的方法，它們恰好在 SAS 中實現在一個函數中，由於某種原因被調用PLS。您鏈接到的兩個教程實際上都非常清楚這一點。演示教程的第 6 頁說明了所有三種方法的目標，並且沒有說 PLS“變成”RRR 或 PCR，這與您在問題中聲稱的相反。同樣，SAS文檔解釋了三種不同的方法，給出了公式和直覺：
[P]主成分回歸選擇盡可能多地解釋預測變量變化的因素，降秩回歸選擇盡可能多解釋響應變量的因素，偏最小二乘法平衡兩個目標，尋找解釋響應變量和預測變量變化的因素.
SAS 文檔中甚至有一個圖顯示了一個很好的玩具示例，其中三種方法給出了不同的解決方案。在這個玩具示例中，有兩個預測器和和一個響應變量. 方向在最相關的恰好與最大方差的方向正交. 因此 PC1 與第一個 RRR 軸正交，PLS 軸介於兩者之間。
可以向 RRR 損失函數添加嶺懲罰，以獲得嶺降秩回歸或 RRRR。這會將回歸軸拉向 PC1 方向，有點類似於 PLS 正在做的事情。但是，RRRR 的成本函數不能寫成 PLS 形式，因此它們保持不同。
請注意，當只有一個預測變量時, CCA = RRR = 通常回歸。
