可變係數上升，然後隨著 lambda 的減小而下降（LASSO）

我正在使用 LASSO (glmnet) 對超過 60 個變量（連續和分類）的連續預測器進行回歸。

在檢查變量跟踪圖時，我注意到隨著 log lambda 的增加，其中一個關鍵變量的係數實際上會增加。然後，在某個點之後，它開始像我們預期的那樣下降。

為了確保這不是僥倖，我使用引導程序運行了 10 個模型並獲得了非常相似的結果。

這是可能的，還是數據有問題？如果合法，變量係數的這種趨勢告訴我們關於變量和與響應的關係的什麼？

這不僅有可能，而且非常普遍。

請注意，罰款是. 因此，只要其他成分減少，某些成分的幅度就可以增加，而不會增加整體的標準。有時作為增加，一個（或幾個）係數可能會以犧牲其他係數為代價而增加，這些係數一起減少至少同樣快，因為它有助於降低失配項的增長率，而不是一起減少它們將。

你可能想繪製會發生什麼作為增加。

當預測變量之間存在某種相關性時，您經常會看到這種行為 - 可能存在一種替代效應。

請注意，在您的頂部情節幾乎總是減少或相當穩定（偶爾的小幅增加將被其他變量係數的減少所抵消）

引用自：https://stats.stackexchange.com/questions/206178