最大似然估計如何具有近似正態分佈？
我一直在閱讀有關 MLE 作為生成擬合分佈的方法。
我看到一個聲明說最大似然估計“具有近似正態分佈”。
這是否意味著如果我對我的數據和我試圖擬合的分佈系列重複應用 MLE，我得到的模型將是正態分佈的？分佈序列究竟如何具有分佈？
估計器是統計數據，並且統計數據具有抽樣分佈（也就是說，我們談論的是您不斷抽取相同大小的樣本並查看您獲得的估計分佈的情況，每個樣本一個）。
引用是指樣本量接近無窮大時 MLE 的分佈。
所以讓我們考慮一個明確的例子，指數分佈的參數（使用尺度參數化，而不是速率參數化）。
在這種情況下. 該定理為我們提供了樣本量越來越大，分佈（適當標準化）（在指數數據上）將變得更加正常。
如果我們採取重複樣本，每個樣本大小為 1，則樣本均值的結果密度在左上圖中給出。如果我們採取重複樣本，每個樣本大小為 2，則樣本均值的結果密度在右上角的圖中給出；到 n=25 時，在右下角，樣本均值的分佈已經開始看起來更加正常。
（在這種情況下，由於 CLT，我們已經預料到會出現這種情況。但是也必須接近正態性，因為它是速率參數的 ML…而且您無法從 CLT 中獲得該信息-至少不能直接獲得*-因為我們不再談論標準化手段，這就是 CLT 的意義所在）
現在考慮已知尺度均值的伽馬分佈的形狀參數（這裡使用均值和形狀參數化而不是尺度和形狀）。
在這種情況下，估計器不是封閉形式，CLT 不適用於它（同樣，至少不是直接*），但似然函數的 argmax 是 MLE。隨著您採集越來越大的樣本，形狀參數估計的採樣分佈將變得更加正常。
這些是來自 10000 組 gamma(2,2) 的形狀參數的 ML 估計值的核密度估計值，對於指定的樣本大小（前兩組結果非常重尾；它們已經被截斷了一些，所以你可以看到模式附近的形狀）。在這種情況下，模式附近的形狀到目前為止只是緩慢變化 - 但極端尾部已經顯著縮短。這可能需要一個幾百開始看起來正常。
–
- 如前所述，CLT 並不直接適用（顯然，因為我們一般不處理手段）。但是，您可以進行漸近論證，將某些內容擴展為在一個系列中，提出與高階項相關的適當論證，並調用一種形式的 CLT 以獲得標準化版本的接近常態（在合適的條件下……）。
另請注意，當我們查看小樣本（至少與無窮大相比較小）時我們看到的效果——正如我們在上面的圖表中看到的那樣，在各種情況下朝著正常的規律發展——這表明如果我們考慮了標準化統計量的 cdf，可能有一個版本，例如 Berry Esseen 不等式，它基於與 MLE 使用 CLT 參數的方式類似的方法，該方法將為採樣分佈接近正態性的速度提供界限。我還沒有見過這樣的事情，但發現它已經完成並不會讓我感到驚訝。
