Machine-Learning
Hessian矩陣與協方差矩陣的關係
在我研究最大似然估計時，要在最大似然估計中進行推斷，我們需要知道方差。為了找出方差，我需要知道 Cramer 的 Rao 下界，它看起來像一個對曲率進行二次推導的 Hessian 矩陣。我有點混淆來定義協方差矩陣和粗麻布矩陣之間的關係。希望聽到一些關於這個問題的解釋。一個簡單的例子將不勝感激。
您應該首先查看有關 Fisher 信息矩陣以及與 Hessian 和標準誤差的關係的基本問題
假設我們有一個統計模型（分佈族）. 在最一般的情況下，我們有, 所以這個族被參數化為. 在一定的正則條件下，我們有
在哪裡是 Fisher 信息矩陣（作為） 和是觀測值（樣本）
所以Fisher信息矩陣是在某些情況下對數概率的Hesian的否定期望值
現在假設我們要估計未知參數的一些向量函數. 通常希望估計器應該是公正的，即
Cramer Rao 下界指出，對於每個無偏 這滿足
在哪裡對於矩陣意味著是半正定的，只是一個雅可比行列式. 請注意，如果我們估計， 那是, 上面簡化為
但它真正告訴我們的是什麼？例如，回想一下
並且對於每個半正定矩陣對角線元素是非負的
從上面我們可以得出結論，每個估計元素的方差由矩陣的對角元素限制
所以 CRLB 並沒有告訴我們估計量的方差，而是我們的估計量是否是最優的，即它是否在所有無偏估計量中具有最低的協方差。