變量選擇與模型選擇
所以我知道變量選擇是模型選擇的一部分。但是模型選擇究竟包括什麼？是否不止以下幾點：
1）為您的模型選擇一個分佈
- 選擇解釋變量，?
我問這個是因為我正在閱讀一篇文章Burnham & Anderson：AIC vs BIC，他們在其中討論了模型選擇中的 AIC 和 BIC。閱讀這篇文章，我意識到我一直在將“模型選擇”視為“變量選擇”（參考評論BIC 是否試圖找到一個真正的模型？）
文章摘錄，他們談到了 12 個模型，它們的“通用性”程度越來越高，當 KL-Information 針對 12 個模型繪製時，這些模型顯示出“錐形效應”（圖 1）：
不同的哲學和目標模型 ……儘管 BIC 的目標是比 AIC 的目標模型更通用的模型，但 BIC 在這裡最常選擇的模型將不如模型 7 通用，除非n非常大。它可能是模型 5 或模型 6。眾所周知（從文獻中的大量論文和模擬中）在錐形效應環境中（圖 1），AIC 的性能優於 BIC。如果這是一個人的真實數據分析的上下文，那麼應該使用 AIC。
BIC怎麼能在模型選擇中選擇比AIC更複雜的模型我不明白！具體是什麼“模型選擇”，BIC什麼時候選擇比AIC更“通用”的模型？
如果我們在談論變量選擇，那麼 BIC 肯定總是選擇變量數量最少的模型，對嗎？這BIC 中的術語總是會比AIC 中的術語。但是，當“ BIC 的目標是比 AIC 的目標模型更通用的模型”時，這不是沒有道理嗎？
編輯：
從評論中的討論是否有任何理由更喜歡 AIC 或 BIC？我們在評論中看到了@Michael Chernick 和@user13273 之間的小討論，這讓我相信這並不是那麼微不足道的事情：
我認為將這個討論稱為“特徵”選擇或“協變量”選擇更合適。對我來說，模型選擇要廣泛得多，涉及到誤差分佈、鏈接函數形式和協變量形式的規範。當我們談論 AIC/BIC 時，我們通常處於模型構建的所有方面都是固定的情況下，除了協變量的選擇。– user13273 2012 年 8 月 13 日 21:17
確定要包含在模型中的特定協變量通常通過術語模型選擇來進行，並且有許多書名中包含模型選擇的書籍主要決定要在模型中包含哪些模型協變量/參數。——邁克爾·切爾尼克 2012 年 8 月 24 日 14:44
有時建模者將變量選擇分離為模型開發中的一個不同步驟。例如，他們將首先進行探索性分析，研究學術文獻和行業實踐，然後提出候選變量列表。他們將此稱為 step variable selection。
接下來，他們會運行一堆不同的規格，其中包含許多不同的變量組合，例如 OLS 模型：
在哪裡表示變量在模型中. 他們會從所有模型中挑選出最好的模型手動或自動程序。所以，這些人會稱之為後期模型選擇。 這類似於機器學習中人們在提出變量時談論*特徵工程的方式。*您將這些功能插入到 LASSO 或類似框架中，您可以在其中使用這些功能（變量）構建模型。在這種情況下，將變量選擇分成一個不同的步驟是有意義的，因為您讓算法為變量選擇正確的係數，而不是消除任何變量。您的判斷（關於哪個變量進入模型）在變量選擇步驟中被隔離，然後剩下的取決於擬合算法。
在您引用的論文的上下文中，這一切都無關緊要。本文使用 BIC 或 AIC 在不同的模型規格之間進行選擇。在這種情況下，您是否將變量選擇作為單獨的步驟並不重要。重要的是哪些變量在任何特定的模型規範中，然後你看看他們的 BIC/AIC 來挑選最好的。它們考慮了樣本量和變量數量。