帶有交互項的 LASSO - 如果主效應縮小到零可以嗎？
LASSO 回歸將係數縮小到零，從而提供有效的模型選擇。我相信在我的數據中，名義協變量和連續協變量之間存在有意義的相互作用。然而，真實模型的“主效應”不一定有意義（非零）。當然我不知道這一點，因為真正的模型是未知的。我的目標是找到真正的模型並儘可能準確地預測結果。
我了解到，經典的模型構建方法總是會在包含交互*之前包含主效應。*因此，不可能有一個沒有兩個協變量的主效應的模型和如果協變量存在交互作用在同一個模型中。因此，
step函數會R仔細選擇遵守此規則的模型項（例如，基於後向或前向 AIC）。LASSO 的工作方式似乎有所不同。由於所有參數都受到懲罰，因此毫無疑問可能會發生主效應縮小到零，而最佳（例如交叉驗證）模型的交互作用是非零的。我在使用
R’sglmnet包時特別發現了我的數據。我收到了基於上面引用的第一條規則的批評，即我最終的交叉驗證 Lasso 模型不包括一些非零交互的相應主效應項。然而，在這種情況下，這條規則似乎有些奇怪。歸結為真實模型中的參數是否為零的問題。讓我們假設它是但交互是非零的，那麼 LASSO 可能會識別它，從而找到正確的模型。事實上，該模型的預測似乎會更精確，因為該模型不包含真正的零主效應，這實際上是一個噪聲變量。
我可以基於這個理由駁斥批評，還是我應該以某種方式採取預防措施，即 LASSO 確實在交互項之前包含了主效應？
回答這個問題的一個困難是，在大多數實際應用中，很難將 LASSO 與“真實”模型的想法相協調，這些應用通常在預測變量之間具有不可忽略的相關性。在這種情況下，與任何變量選擇技術一樣，LASSO 以非零係數返回的特定預測變量將取決於來自基礎總體的抽樣的變幻莫測。您可以通過對來自同一數據集的多個引導樣本執行 LASSO 並比較返回的預測變量集來檢查這一點。
此外，正如@AndrewM 在評論中指出的那樣，LASSO 提供的估計偏差意味著您不會“盡可能地”預測結果。相反，您正在預測基於不可避免的偏差-方差權衡的特定選擇的結果。
因此，考慮到這些困難，我希望你自己想知道，而不僅僅是為了滿足批評者，對交互作用有貢獻的變量的主要影響的大小。R 中有一個可用的軟件包glinternet，它似乎可以完全滿足您的需求（儘管我對此沒有經驗）：
組套索交互網絡。擬合滿足強層次結構的線性成對交互模型：如果交互係數估計為非零，則其兩個相關的主效應也具有非零估計係數。容納具有任意數量的水平、連續變量及其組合的分類變量（因子）。
或者，如果您沒有太多的預測變量，則可以考慮使用嶺回歸，這將返回所有變量的係數，這些變量可能不太依賴於特定數據樣本的變幻莫測。