Regression
在回歸中,為什麼不默認使用正則化?
我記得在另一篇文章的某處讀到過關於統計學和機器學習或神經網絡的人們之間的不同觀點,其中一位用戶提到這個想法是一種不良做法的例子。
即使那樣,我也找不到任何人問這個問題,所以我想我顯然缺少一些東西。我只能想到兩個不推薦正則化的假設場景:
- 研究人員對估計的無偏性感興趣。
- 由於大量實時數據,人們希望盡量減少計算時間。
在前一種情況下,我不相信研究人員有任何實際理由尋找較低誤差的公正性,特別是考慮一項單一研究。在後者中,我什至不相信計算時間會有所增加。
我錯過了什麼?
簡而言之,正則化改變了檢驗統計量的分佈,使假設檢驗變得毫無意義。在我們想要使用回歸來推斷干預的情況下,我們想要公正。
並非所有與數據有關的事情都是預測問題。