證明對數似然是漸近二次的
我正在閱讀這篇文章，作者說如果對數似然是漸近二次的，則最大似然 (ML) 估計是漸近正態的。
我在其他時候聽說或讀過關於漸近二次的可能性（在條件下），但我從未讀過任何證據。有人知道這樣的證明嗎？
很高興看到一個證明也顯示了收斂速度 二次函數的對數似然。
**討論：對數似然的局部漸近二次性在證明 ML 估計器的漸近正態性的*同一組假設下得到證明——這不是*先決條件。給定這組假設，MLE 漸近正態性的證明可以更加直接和簡短——我在最後提供了它。我結合了兩個非常不同的書籍來源，大衛波拉德未發表的“Asymptopia”（第 2 章）和 Hayashi 的“計量經濟學”）（第 7 章）。我遵循Hayashi的符號。而且這是一個““一種證明。
假設樣本大小來自具有密度函數的分佈的獨立同分佈觀察並使用以下符號：
反過來，對數似然、分數和 Hessian，都與觀察有關，而不是整個樣本。符號應理解為反映向量矩陣（用於多個未知參數）。考慮平均對數似然函數（在 ML 估計中沒有區別，嚴格來說，我們應該考慮這種可能性，以便將 ML 包含在 M 估計器系列中）
做出以下假設，適用於鄰域,：
[一個] 確實是二次可微的，二階導數連續在
[乙] 它的一階導數評估為,關於所涉及的概率測度是平方可積的（換句話說，存在並且是有限的）。
[C] 它的二階導數由一個可積函數支配， （意思是
[d] 不是奇異矩陣（所以它的逆存在）
[e] 是參數空間的一個內點
[F] 那裡存在.
正如 Pollard 所說，我們之所以考慮估計量的漸近正態性，因為它是一致的，因為如果估計量不一致，它的漸近分佈對我們沒有用處。
LOCAL QUADRATICITY 去漸近正態性。
我們注意到，局部二次性是針對樣本平均對數聯合密度證明的，而不是針對樣本對數似然性的——即，我們在將樣本對數聯合密度視為似然函數之前的一步. 但我們將繼續稱其為“對數似然”。在上述框架中，局部二次性的證明基本上只包括證明二階泰勒展開的餘數大約漸近地歸零。
第一步：局部二次
假設允許我們採用二階泰勒展開式和假設和允許考慮其期望值：
我們使用了余項的 Peano 形式。請注意，期望與的，ML 估計器還沒有被引入。 現在，從前面的步驟，當證明存在一致估計量時，通過“識別條件”我們知道 最大時. 然後由於假設(是一個內點），這意味著. 如果不是內部的，那麼泰勒展開式將保留一個可能的非零線性項，我們將無法保證二次性（這就是為什麼當在邊界處，漸近性質改變）。
然後證明餘數均勻收斂到零的概率（這裡寫得太多了），剩下的就是
這就是所謂的“局部漸近二次”。 第二步：ML 估計器的漸近正態性
記住上述結果，我們現在對樣本對數似然進行二階泰勒展開，操縱線性項，
這裡也顯示余數以概率均勻收斂到零。如果那麼我們考慮上述關於的導數，我們將其設置為零，我們將獲得
在哪裡是一個“一致的根”，它通過假設存在.
假設允許操縱和書寫
假設先前調用給了我們. 假設給了我們存在並且是有限的。然後中心極限定理成立，我們有
最後，假設保證逆項是有限的，所以
漸近正態性的直接證明
在同一組假設下，使用均值定理，我們採用均值展開在我們得到
在哪裡是之間的平均值和. 假設允許我們寫
夾在中間和並且對於. 這和假設使我們得到與以前相同的最終結果。