Estimation

如何為參數估計推導二項分佈的似然函數?

  • November 10, 2015

根據Miller 和 Freund 的 Probability and Statistics for Engineers, 8ed (pp.217-218),對於二項分佈(伯努利試驗)要最大化的似然函數為

如何得出這個等式?關於其他分佈,泊松和高斯分佈,我似乎很清楚;

但二項式的只是有點不同。直截了當地說,是怎麼做到的

變得

在上述似然函數中?

在最大似然估計中,您試圖最大化; 然而,最大化這個等同於最大化對於一個固定的.

實際上,高斯和泊鬆的似然也不涉及它們的前導常數,所以這種情況就像 w


解決 OP 評論

這裡有更多細節:

第一的,是成功的總數,而是單次試驗(0 或 1)。所以:

這顯示了您如何獲得可能性因素(通過向後運行上述步驟)。

為什麼常數會消失?非正式地,大多數人(包括我)所做的只是注意到前導常數不會影響最大化可能性,所以我們只是忽略它(有效地將其設置為 1)。

我們可以通過取似然函數的對數並找出其導數為零的位置來推導出這一點:

取導數並設置為:

請注意,前導常數從 MLE 的計算中退出。

更哲學地說,可能性只對直到乘法常數的推理才有意義,這樣如果我們有兩個似然函數和,那麼它們在推理上是等價的。這稱為似然定律。因此,如果我們比較不同的值使用相同的似然函數,前導項變得無關緊要。

在實際層面上,使用似然函數的推理實際上是基於似然比,而不是似然的絕對值。這是由於似然比的漸近理論(漸近卡方 - 受制於通常適當的某些規律性條件)。由於Neyman-Pearson 引理,似然比檢驗受到青睞。因此,當我們嘗試檢驗兩個簡單假設時,我們將取比率,而共同主導因素將取消。

注意:如果您比較兩個不同的模型,例如二項式和泊松,則**不會發生這種情況。**在這種情況下,常數很重要。

在上述原因中,第一個(與找到 L 的最大值無關)最直接地回答了您的問題。

引用自:https://stats.stackexchange.com/questions/181035

comments powered by Disqus