矩方法可以在小樣本中擊敗最大似然的示例？
最大似然估計（MLE）是漸近有效的；我們看到的實際結果是，即使在小樣本量下，它們通常也比矩量法 (MoM) 估計（當它們不同時）做得更好
這裡的“優於”意味著當兩者都無偏時通常具有較小的方差，並且通常更普遍地具有較小的均方誤差 (MSE)。
然而，問題出現了：
是否存在 MoM 可以在MSE上擊敗 MLE 的情況，比如在小樣本中？
（這不是一些奇怪/退化的情況 - 即考慮到 ML 存在/漸近有效的條件）
一個後續問題將是“小可以有多大？” - 也就是說，如果有例子，是否有一些仍然適用於相對較大的樣本量，甚至可能是所有有限的樣本量？
[我可以找到一個可以在有限樣本中擊敗 ML 的有偏估計器示例，但它不是 MoM。]
回顧性添加的註釋：我在這裡的重點主要是單變量案例（這實際上是我潛在的好奇心的來源）。我不想排除多變量的情況，但我也不想偏離對 James-Stein 估計的擴展討論。
這可能被認為是……作弊，但 OLS 估計器是 MoM 估計器。考慮一個標準的線性回歸規範（與隨機回歸量，因此量值取決於回歸量矩陣），以及大小樣本. 表示方差的 OLS 估計量的誤差項。它是公正的，所以
現在考慮 MLE. 它是
是不是偏心。它的 MSE 是
用 OLS 表示 MLE 並使用我們獲得的 OLS 估計方差的表達式
我們想要條件（如果存在的話）
簡化我們得到
這個二次方是否可行獲得負值？我們需要它的判別式是積極的。我們有
這是另一個二次方，在這次。這個判別式是
所以
考慮到這樣一個事實是一個整數。如果在這個區間內，我們有 和二次總是取正值，所以我們不能得到所需的不等式。所以：我們需要一個大於 12 的樣本量。 鑑於此，根源-二次是
**總體：**針對樣本量和回歸變量的數量這樣 我們有
例如，如果然後發現回歸器的數量必須是為了不等式成立。有趣的是，對於少數回歸量，MLE 在 MSE 意義上更好。 附錄
根的方程- 二次可以寫
快速瀏覽一下，我認為這意味著下根將永遠是（考慮到“整數值”限制）-所以當回歸器達到時，MLE 將是 MSE 高效的對於任何（有限）樣本量。