Estimation

不一致的估計器是否更可取?

  • June 25, 2012

一致性顯然是估計量的一個自然而重要的屬性,但是在某些情況下使用不一致的估計量比使用一致的估計量更好嗎?

更具體地說,是否存在不一致估計器的示例,它優於所有有限的合理一致估計器 $ n $ (關於一些合適的損失函數)?

這個答案描述了一個現實問題,其中自然一致的估計量被不一致的估計量支配(對於所有樣本大小的所有可能參數值都優於)。它的動機是一致性最適合二次損失,因此使用與此有很大差異的損失(例如不對稱損失)應該使一致性在評估估計器的性能時幾乎無用。


假設您的客戶希望從 iid 樣本中估計變量的平均值(假設具有對稱分佈), 但他們反對 (a) 低估它或 (b) 嚴重高估它。

為了看看這可能如何解決,讓我們採用一個簡單的損失函數,理解在實踐中損失可能在數量上(但不是在質量上)與這個不同。選擇計量單位,以便是最大可容忍的高估,並設置估計的損失當真正的平均值是等於每當並且等於否則。

對於具有均值的正態分佈族,計算特別簡單和方差, 那麼樣本均值有一個正常的分配。樣本均值是一致的估計量,眾所周知(並且顯而易見)。寫作對於標準正態 CDF,樣本均值的預期損失等於:來自樣本均值低估真實均值的 50% 的可能性來自高估真實均值的機會超過.

損失

的預期損失等於此標準普通 PDF 下的藍色區域。紅色區域給出了替代估計器的預期損失,如下所示。它們的不同之處在於替換了它們之間的純藍色區域和由較小的實心紅色區域之間和. 這種差異隨著增加。

由下式給出的替代估計量預期損失為. 正態分佈的對稱性和單峰性意味著其預期損失總是優於樣本均值。(這使得樣本均值對於這種損失是不可接受的。)實際上,樣本均值的預期損失有一個下限而替代方案的收斂到作為成長。然而,替代方案顯然是不一致的:如增長,它在概率上收斂到.

損失函數

藍點表示損失和紅點表示損失作為樣本量的函數.

引用自:https://stats.stackexchange.com/questions/31088

comments powered by Disqus