Maximum-Likelihood

任何 MLE 問題總是有一個最大化器嗎?

  • October 9, 2011

我想知道對於任何最大(對數)似然估計問題是否總是有一個最大化器?換句話說,是否存在 MLE 問題沒有最大化器的分佈及其一些參數?

我的問題來自一位工程師的說法,即 MLE 中的成本函數(可能性或對數可能性,我不確定哪個是預期的)總是凹的,因此它總是有一個最大化器。

謝謝並恭祝安康!

也許工程師想到了規範指數族:在它們的自然參數化中,參數空間是凸的,對數似然是凹的(參見 Bickel & Doksum 的數學統計第 1 卷中的 Thm 1.6.3 )。此外,在一些溫和的技術條件下(基本上模型是“滿秩”,或者等效地,自然參數可識別),對數似然函數是嚴格凹的,這意味著存在唯一的最大化器。(同一參考文獻中的推論 1.6.2。)[此外,@biostat 引用的講義也表達了同樣的觀點。]

請注意,規範指數族的自然參數化通常不同於標準參數化。所以,雖然@cardinal 指出家庭的對數似然不是凸的,它將在自然參數中是凹的,即和.

引用自:https://stats.stackexchange.com/questions/16758

comments powered by Disqus