回歸中不縮小偏差（截距）項的原因

對於線性模型，收縮項總是.

我們不縮小偏差（截距）項的原因是什麼? 我們應該縮小神經網絡模型中的偏差項嗎？

Hastie 等人*的統計學習要素。*定義嶺回歸如下（第 3.4.1 節，方程 3.41）：

即明確排除截距項從脊罰。 然後他們寫道：

[…] 請注意，攔截已被排除在刑期之外。攔截的懲罰將使程序取決於為; 也就是說，添加一個常數對每個目標不會簡單地導致預測發生相同數量的變化.

實際上，在存在截距項的情況下，添加對所有人只會導致增加以及相應的所有預測值也會增加. 如果攔截受到懲罰，則情況並非如此：將不得不增加小於.

事實上，線性回歸有幾個很好且方便的屬性，它們取決於是否存在適當的（未懲罰的）截距項。例如，平均值和平均值相等，並且（因此）平方多重相關係數等於決定係數:

參見例如這個線程的解釋：多重相關係數的幾何解釋和決定係數. 懲罰攔截將導致所有這些不再是真實的。

引用自：https://stats.stackexchange.com/questions/86991