Bayesian
貝葉斯估計和最大似然估計有什麼區別？
請向我解釋貝葉斯估計和最大似然估計的區別？
這是一個非常廣泛的問題，我在這裡的回答只是開始觸及表面。我將使用貝葉斯規則來解釋這些概念。
讓我們假設一組概率分佈參數， ，最好地解釋數據集. 我們可能希望估計參數在貝葉斯法則的幫助下：
解釋如下：
最大似然估計
使用 MLE，我們為最大化可能性，，如上式所示。我們可以將此值表示為. 在 MLE 中，是點估計，而不是隨機變量。
換句話說，在上面的等式中，MLE 將項作為一個常數，不允許我們注入我們先前的信念，，關於可能的值在估計計算中。
貝葉斯估計
相比之下，貝葉斯估計完全計算（或有時近似）後驗分佈. 貝葉斯推理處理作為隨機變量。在貝葉斯估計中，我們放入概率密度函數並得到概率密度函數，而不是像 MLE 中的單個點。
在所有的輸出分佈使值成為可能，我們的工作是選擇一個我們認為在某種意義上最好的值。例如，我們可以選擇期望值假設它的方差足夠小。我們可以為參數計算的方差從它的後驗分佈中，我們可以表達我們對可以用作估計的任何特定值的信心。如果方差太大，我們可以聲明不存在一個好的估計.
作為權衡，貝葉斯估計變得複雜，因為我們現在必須處理貝葉斯規則中的分母，即. 這裡的證據 - 或證據的概率 - 表示為：
這導致了貝葉斯估計中“共軛先驗”的概念。對於給定的似然函數，如果我們可以選擇如何表達我們的先驗信念，我們必須使用允許我們執行上述整合的形式。COOlSerdash在這篇文章中很好地解釋了共軛先驗的概念及其實際實現方式。