Maximum-Likelihood
最大似然等價於最大後驗估計
最大後驗 (MAP) 估計何時等同於最大似然 (ML) 估計？
可以證明，在無限數據的限制下，兩種估計都收斂。
讓我們考慮回歸的情況，您假設目標數據是從平滑函數寬度加性高斯噪聲生成的。然後你有你的訓練數據的可能性，
在哪裡是一個向量，包含表徵您的算法的所有參數，並且是歸一化常數。如果你最大化對數似然，如果這個表達式你得到 ML 估計。
現在，您在參數上添加一個先驗，該參數充當正則化器，並通過控制分類器的複雜性來幫助您避免過度擬合。具體來說，在這種情況下，很自然地假設您的參數是高斯分佈的，
MAP 定義為. 使用貝葉斯定理，
如果您替換上述表達式並取對數，您最終會得到（的不依賴於),
這只不過是嶺回歸。添加的數據越多，第一項與第二項相比越大，即越接近 ML 估計。對於分類的情況，可以進行非常相似的推導。
如果你對機器學習感興趣，我建議你買一本 Bishop 的書。