是否有任何理由更喜歡 AIC 或 BIC?
AIC 和 BIC 都是評估模型擬合的方法,因為估計參數的數量會受到懲罰。據我了解,BIC 比 AIC 更多地懲罰模型的自由參數。除了基於標準嚴格程度的偏好之外,還有其他理由更喜歡 AIC 而不是 BIC,反之亦然?
您的問題意味著 AIC 和 BIC 試圖回答同一個問題,這是不正確的。AIC 試圖選擇最充分地描述未知的高維現實的模型。這意味著現實永遠不在正在考慮的候選模型集中。相反,BIC 試圖在候選集合中找到 TRUE 模型。我覺得很奇怪,假設現實是在研究人員一路上建立的模型之一中實例化的。這對 BIC 來說是一個真正的問題。
儘管如此,還是有很多研究人員說 BIC 比 AIC 更好,他們使用模型恢復模擬作為論據。這些模擬包括從模型 A 和 B 生成數據,然後用這兩個模型擬合兩個數據集。當錯誤的模型比生成的模型更好地擬合數據時,就會發生過度擬合。這些模擬的目的是查看 AIC 和 BIC 糾正這些過擬合的程度。通常,結果表明 AIC 過於自由,並且仍然經常更喜歡更複雜、錯誤的模型,而不是更簡單、真實的模型。乍一看,這些模擬似乎是很好的論據,但它們的問題是它們對 AIC 毫無意義。正如我之前所說,AIC 並不認為任何正在測試的候選模型實際上都是真的。根據 AIC,所有模型都是對現實的近似,現實永遠不應該是低維的。至少低於一些候選模型。
我的建議是同時使用 AIC 和 BIC。大多數時候,他們會就首選模型達成一致,當他們不同意時,只需報告即可。
如果您對 AIC 和 BIC 都不滿意並且有空閒時間進行投資,請查看最小描述長度 (MDL),這是一種完全不同的方法,可以克服 AIC 和 BIC 的限制。MDL 有幾種測量方法,如歸一化最大似然或 Fisher 信息近似。MDL 的問題在於其數學要求高和/或計算密集。
儘管如此,如果你想堅持簡單的解決方案,評估模型靈活性的一個好方法(特別是當參數數量相等時,使 AIC 和 BIC 無用)是執行參數引導,它很容易實現。這是一篇關於它的論文的鏈接。
這裡有些人提倡使用交叉驗證。我個人使用過它並且沒有任何反對意見,但它的問題是樣本切割規則(留一法、K-折疊等)中的選擇是無原則的。