M-估計量的經驗 Hessian 矩陣可以是不確定的嗎？
Jeffrey Wooldridge 在他的橫截面和麵板數據的計量經濟學分析（第 357 頁）中說，經驗 Hessian “對於我們正在使用的特定樣本，不能保證是正定的，甚至是半正定的。”。
這對我來說似乎是錯誤的，因為（除了數值問題）由於將 M 估計量定義為最小化給定樣本的目標函數的參數值以及眾所周知的事實，Hessian 必須是半正定的在（局部）最小值處，Hessian 是半正定的。
我的論點正確嗎？
[編輯：該聲明已在第二版中刪除。的書。見評論。]
背景假設是通過最小化獲得的估計量
在哪裡表示-第一次觀察。 讓我們表示 Hessian 的經過,
的漸近協方差涉及在哪裡是真正的參數值。估計它的一種方法是使用經驗 Hesssian
這是確定性這是有問題的。
我覺得你是對的。 讓我們提煉你的論點的本質：
- 最小化函數定義為
- 讓成為黑森州的, 從何而來根據定義，這反過來，通過微分的線性，等於.
- 假設位於域的內部， 然後必須是半正定的。
這只是關於功能的陳述：它是如何定義的只是一種干擾，除了假設的二階可微性關於它的第二個論點（) 保證二階可微性.
找到 M 估計器可能很棘手。考慮@mpiktas 提供的這些數據：
{1.168042, 0.3998378}, {1.807516, 0.5939584}, {1.384942, 3.6700205}, {1.327734, -3.3390724}, {1.602101, 4.1317608}, {1.604394, -1.9045958}, {1.124633, -3.0865249}, {1.294601, -1.8331763},{1.577610, 1.0865977}, { 1.630979, 0.7869717}找到 M 估計量的 R 過程產生了解決方案=. 目標函數的值（平均’s) 此時等於 62.3542。這是擬合圖：
這是該擬合鄰域中（對數）目標函數的圖：
**這裡有些可疑：**擬合的參數與用於模擬數據的參數相差甚遠（接近) 而且我們似乎不是最低限度：我們處於一個極淺的山谷中，該山谷向兩個參數的較大值傾斜：
此時 Hessian 的負行列式證實這不是局部最小值！ 然而，當您查看 z 軸標籤時，您可以看到該函數在整個區域內的精度為五位數，因為它等於常數 4.1329（62.354 的對數）。這可能導致 R 函數最小化器（具有默認容差）得出結論，它接近最小值。
事實上，解決方案遠非如此。為了確保找到它，我在Mathematica中使用了計算成本高但高效的“主軸”方法，使用 50 位精度（以 10 為底）來避免可能出現的數值問題。它在附近找到一個最小值其中目標函數的值為 58.292655：比 R 找到的“最小值”小約 6%。這個最小值出現在一個看起來非常平坦的部分，但我可以讓它看起來（只是勉強）像一個真正的最小值，帶有橢圓輪廓，通過誇大劇情方向：
輪廓的範圍從中間的 58.29266 一直到角落的 58.29284（！）。這是 3D 視圖（同樣是日誌目標）：
這裡 Hessian 矩陣是正定的：它的特徵值為 55062.02 和 0.430978。因此**，該點是局部最小值**（並且可能是全局最小值）。這是它對應的擬合：
我認為它比另一個更好。參數值當然更真實，很明顯我們不能用這組曲線做得更好。
我們可以從這個例子中吸取有用的教訓：
- 數值優化可能很困難，尤其是非線性擬合和非二次損失函數。所以：
- 以盡可能多的方式仔細檢查結果，包括：
- 盡可能繪製目標函數。
- 當數值結果似乎違反數學定理時，要非常懷疑。
- 當統計結果令人驚訝時——例如 R 代碼返回的令人驚訝的參數值——要格外懷疑。
