為什麼嶺回歸不是尺度不變的？

在第 3 章的統計學習要素中，我們知道線性回歸是尺度不變的，因為係數的尺度矩陣最終會被取消，但是嶺回歸沒有嗎？由於嶺係數的形式具有封閉形式 β=(XTX+λI)−1XTY,

我不明白為什麼尺度不變性在這裡不成立？任何人都可以提出證明嗎？

這裡的直覺是，當您使用相同的符號時，會發生花招 X 對於原始數據和重新縮放的數據。這是誤導，因為重新縮放 ˜X=XD 和原來的不一樣 X ，所以我們應該明確說明並寫下我們是如何重新縮放的。

我們可以通過考慮兩種情況來證明這一點，首先是原始單位 X 其次是我們使用重新縮放的矩陣的情況 ˜X=XD 在哪裡 D 是一個對角矩陣，其對角線上的所有正項。如果 X 有形狀 n×p 然後 D 有形狀 p×p . （您實際上可以使用任何 Dii≠0 但是“重新縮放”幾乎總是意味著被限制為乘以一個正標量。）

在第一種情況下，我們有 β(X)=(XTX+λI)−1XTy

正如問題中所寫的那樣。

在第二種情況下，我們將重新縮放應用於 X 我們有 β(˜X)=(˜XT˜X+λI)−1˜XTy =(DXTXD+λI)−1DXTy =(D(X⊤X+λD−2)D)−1DXTy =D−1(XTX+λD−2)−1XTy

（記住 D 是對角線，所以 DT=D ).

由此我們可以得出結論，係數 βX 和 β˜X 只有當 D=I .

最後一行顯示重新調整兩個對係數的影響。

1. 它對係數有乘法效應，正如我們根據在 OLS 情況下重新縮放時會發生的情況直覺地預期的那樣。
2. 最後一行明確表示規模的變化被“吸收”在 λ , 並且規模的變化是 $ \beta(\tilde{X})i $ 與重新縮放的平方成反比 $ D{ii} $ . （感謝 Firebug 這個有用的建議。）

引用自：https://stats.stackexchange.com/questions/519450