Maximum-Likelihood

即使模型不正確,MLE 估計是否漸近正常且有效?

  • January 3, 2017

前提:這可能是一個愚蠢的問題。我只知道關於 MLE 漸近性質的陳述,但我從未研究過證明。如果我這樣做了,也許我不會問這些問題,或者我可能會意識到這些問題沒有意義……所以請對我放輕鬆:)

我經常看到這樣的說法,即模型參數的 MLE 估計量是漸近正態且有效的。聲明通常寫成

作為

在哪裡是樣本數,是 Fisher 信息和是參數(向量)的真值。現在,既然引用了一個真實的模型,這是否意味著如果模型不真實,結果將不成立?

示例:假設我對風力渦輪機的功率輸出進行建模 作為風速的函數加上加性高斯噪聲

我知道模型是錯誤的,至少有兩個原因:1)真的與的三次方成正比和 2) 誤差不是累加的,因為我忽略了與風速不相關的其他預測變量(我也知道應該為 0,因為在 0 風速下不發電,但這與此處無關)。現在,假設我有一個無限數據庫,其中包含來自我的風力渦輪機的功率和風速數據。我可以繪製任意數量的樣本,無論大小。假設我抽取 1000 個樣本,每個樣本大小為 100,然後計算, 的 MLE 估計(根據我的模型,這只是 OLS 估計)。因此,我有 1000 個來自分佈的樣本. 我可以重複練習. 作為, 應該分佈趨向於漸近正態,具有規定的均值和方差?或者模型不正確的事實是否使這個結果無效?

我問的原因是很少(如果有的話)模型在應用程序中是“真實的”。如果在模型不正確時 MLE 的漸近特性丟失了,那麼使用不同的估計原理可能是有意義的,雖然在模型正確的情況下效果較差,但在其他情況下可能比 MLE 表現更好。

編輯:評論中指出,真實模型的概念可能有問題。我想到了以下定義:給定一系列模型由參數向量指示,對於家庭中的每個模型,您始終可以編寫

通過簡單地定義作為. 然而,一般來說,誤差不會與,均值為 0,並且它不一定具有模型推導中假定的分佈。如果存在值這樣具有這兩個屬性,以及假設的分佈,我會說模型是正確的。我認為這與說, 因為分解中的誤差項

具有上述兩個屬性。

我不相信這個問題只有一個答案。

當我們在應用最大似然估計時考慮可能的分佈錯誤指定時,我們得到所謂的“準最大似然”估計量(QMLE)。在某些情況下,QMLE 既一致又漸近正態。

它肯定會失去的是漸近效率。這是因為漸近方差(這是具有漸近分佈的量,而不僅僅是) 在所有情況下,

在哪裡是對數似然的 Hessian 矩陣,並且是梯度,帽子表示樣本估計。

現在,如果我們有正確的規範,我們首先得到

哪裡“" 下標表示對真實參數的評估(並註意中間項是 Fisher 信息的定義),其次,“信息矩陣等式”成立並指出,這意味著漸近方差最終將是

這是Fisher信息的倒數。

但是如果我們有錯誤的說明,表達不會導致表達(因為一階和二階導數是基於錯誤的可能性推導出來的)。這反過來意味著信息矩陣不等式不成立,我們最終不會表達,並且 (Q)MLE 沒有達到完全的漸近效率。

引用自:https://stats.stackexchange.com/questions/254314

comments powered by Disqus