貝葉斯 vs MLE，過擬合問題
在 Bishop 的 PRML 書中，他說，過擬合是最大似然估計 (MLE) 的一個問題，而貝葉斯可以避免它。
但我認為，過度擬合更多是關於模型選擇的問題，而不是用於進行參數估計的方法。也就是說，假設我有一個數據集，這是通過生成的
, 現在我可能會選擇不同的型號擬合數據並找出哪個是最好的。所考慮的模型是具有不同階數的多項式模型，是訂單 1，是訂單 2，是訂單 9。 現在我嘗試擬合數據對於 3 個模型中的每一個，每個模型都有其參數，表示為為了.
使用 ML，我將對模型參數進行點估計， 和太簡單了，總是會欠擬合數據，而太複雜，會過擬合數據，只有將很好地擬合數據。
我的問題是，
- 型號會過度擬合數據，但我認為這不是 ML 的問題，而是模型本身的問題。因為，使用機器學習不會導致過擬合。我對嗎？
2）與貝葉斯相比，ML確實有一些缺點，因為它只是給出了模型參數的點估計，而且過於自信。而貝葉斯不僅依賴於參數的最可能值，還依賴於給定觀察數據的參數的所有可能值， 對？
3）為什麼貝葉斯可以避免或減少過擬合？據我了解，我們可以使用貝葉斯進行模型比較，即給定數據，我們可以找出所考慮的每個模型的邊際可能性（或模型證據），然後選擇具有最高邊際可能性的模型，對嗎？如果是這樣，那是為什麼？
優化是統計中萬惡之源。任何時候你選擇你的模型通過優化在有限數據樣本上評估的一些合適的標準，您會冒著過度擬合標準的風險，即減少統計量超過獲得泛化性能改進的點，而是通過利用樣本的特性來獲得減少數據，例如噪聲）。貝葉斯方法效果更好的原因是您沒有優化任何東西，而是邊緣化（整合）所有可能的選擇。那麼問題就在於對模型的先驗信念的選擇，因此一個問題已經消失，但另一個問題出現了。
這包括在貝葉斯環境中最大化證據（邊際可能性）。例如，請參閱我的論文中高斯過程分類器的結果，如果超參數過多，優化邊際似然會使模型變得更糟（注意根據邊際似然選擇將傾向於支持具有大量超參數的模型-參數作為這種形式的過度擬合的結果）。
GC Cawley 和 NLC Talbot，模型選擇中的過度擬合和性能評估中的後續選擇偏差，機器學習研究雜誌，2010 年。研究，第一卷。11，第 2079-2107 頁，2010 年 7 月。( pdf )