為什麼要使用觀察到的 Fisher 信息？

在標準最大似然設置中（iid 樣本從一些有密度的分佈)) 並且在正確指定模型的情況下，Fisher 信息由下式給出

其中期望是相對於生成數據的真實密度而採取的。我已閱讀觀察到的 Fisher 信息

主要使用，因為在某些情況下，計算（預期）Fisher 信息所涉及的積分可能不可行。令我困惑的是，即使積分是可行的，也必須對真實模型採取期望，即涉及未知參數值. 如果是這樣的話，似乎在不知不覺中無法計算. 這是真的？

你在這裡有四個量：真正的參數, 一致的估計, 預期信息在和觀察到的信息在. 這些數量只是漸近等效的，但這通常是它們的使用方式。

1. 觀察到的信息

以概率收斂到預期信息

什麼時候是一個獨立同分佈樣本 . 這裡表示期望 w/r/t 由索引的分佈：. 由於大數定律，這種收斂成立，因此假設在這里至關重要。 2. 當你有一個估計以概率收斂到真實參數（即，是一致的）然後你可以用它代替你看到的任何地方上面，主要是由於連續映射定理，並且所有的收斂繼續成立。

實際上，它似乎有點微妙。

評論

正如您所推測的，觀察到的信息通常更容易處理，因為微分比積分更容易，而且您可能已經在一些數值優化過程中對其進行了評估。在某些情況下（正態分佈）它們是相同的。

Efron 和 Hinkley (1978) 的文章“評估最大似然估計量的準確性：觀察到的與預期的 Fisher 信息”提出了有利於有限樣本的觀察到的信息的論點。

引用自：https://stats.stackexchange.com/questions/154724