Multiple-Regression

LASSO回歸係數的解釋

  • July 27, 2016

我目前正在為具有約 300 個變量和 800 個觀察值的數據集構建一個二元結果的預測模型。我在這個網站上閱讀了很多關於與逐步回歸相關的問題以及為什麼不使用它的內容。

我一直在閱讀 LASSO 回歸及其特徵選擇能力,並通過使用“caret”包和“glmnet”成功實現了它。

我能夠從“插入符號”lambda中提取具有最佳值的模型係數;alpha但是,我不熟悉如何解釋係數。

  • LASSO 係數的解釋方法是否與邏輯回歸相同?
  • 在邏輯回歸中使用從 LASSO 中選擇的特徵是否合適?

編輯

係數的解釋,如 LASSO 回歸中的指數係數,作為係數變化 1 個單位的對數機率,同時保持所有其他係數不變。

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

LASSO 係數的解釋方法是否與邏輯回歸相同?

讓我換個說法:LASSO 係數的解釋方式是否與邏輯回歸中的OLS最大似然係數等方式相同?

LASSO(一種懲罰估計方法)旨在估計與OLS最大似然(一種不受懲罰的方法)相同的數量(模型係數)。模型是一樣的,解釋也是一樣的。LASSO 的數值通常與OLS最大似然的數值不同:一些會更接近於零,而另一些會恰好為零。如果應用了合理的懲罰量,LASSO 估計將比OLS最大似然估計更接近真實值,這是一個理想的結果。

在邏輯回歸中使用從 LASSO 中選擇的特徵是否合適?

這沒有固有的問題,但是您可以使用 LASSO 不僅用於特徵選擇,還可以用於係數估計。正如我上面提到的,LASSO 估計可能比OLS最大似然估計更準確。

引用自:https://stats.stackexchange.com/questions/225970

comments powered by Disqus