Bayesian
具有可接受的估計量的模型,不是任何先驗選擇的貝葉斯估計量?
據我所知,每個貝葉斯估計量都是可以接受的。(相關問題 - 1 , 2。)我記得我的教授在一次講座中提到,至少作為粗略的直覺,反過來也是正確的,也就是說,每個可接受的估計量都是某些先驗選擇的貝葉斯估計量。他說了一些類似於“有例外”或“需要常規條件”的內容。
**問:**有沒有人知道:
- 相反,每個可接受的估計量都是某些先驗的貝葉斯估計量,需要什麼正則性條件才能成立?
- 和/或是否有統計模型的(好的)反例,其中(合理的)可接受的估計量不是**任何先驗選擇的貝葉斯估計量?
我的猜測是,任何反例都可能與克倫威爾規則有關,特別是因為違反克倫威爾規則的先驗眾所周知會人為地減少“有效模型大小”。因此,如果我們有一些模型,由於某種原因,所有先驗都必須違反克倫威爾規則,那麼似乎可以想像會有(合理的)反例。
作為一個家庭作業問題,我們必須在一個非常有限的情況下證明這個相反:對於不違反克倫威爾規則的先驗,以及有限的參數空間。我認為對有限參數空間的限制不是必需的,只是為了讓我們不必在無限維向量空間中進行凸分析,因為函數分析沒有被列為課程的先決條件。話雖如此,並非每個無限維向量空間都是適用凸分析推廣的巴拿赫空間,因此可以想像,我們可以/應該仍然期望反例存在,但如果它們確實存在,也期望它們具有無限參數空間。
**編輯:**基於這個答案,我的另一個猜想是,由於某種原因,所有先驗都具有無限貝葉斯風險的模型可能存在反例——也許是柯西模型?
關於貝葉斯和可接納性的一些結果:
- 如果貝葉斯風險是有限的,則存在一個可接受的貝葉斯估計量,而如果貝葉斯風險是無限的,則相關的貝葉斯估計量沒有理由是可接受的。我想不出所有先驗都具有無限貝葉斯風險的情況,因為先驗集合包含狄拉克質量
- [完整類] 如果一個估計量是可接受的並且參數集是有限的,那麼這個估計量是貝葉斯
- [布萊斯定理] 如果是開放的,如果風險函數是連續的, 而如果是貝葉斯估計量的極限,在這個意義上然後估計器是可接受的
- [Stein’s theorem] 如果採樣密度的支持不依賴於,如果損失函數在 d 中是連續且嚴格凸的,對於每個並且在無窮大處發散,則每個可接受的估計量都是貝葉斯估計量的極限,對應於有限集上的先驗
- 正態均值問題中均值的最大似然估計量,,, 在平方誤差損失下是可接受的,而在二次損失下不是貝葉斯,而只是廣義貝葉斯
- [Duanmu and Roy, 2016]對於指數族,在合適的條件下,每個可接受的估計量都是廣義貝葉斯。
- [Farrell, 1968] “在檢驗統計假設的問題中,存在不能推廣貝葉斯程序的可接受檢驗的例子。雖然我們認為某些估計問題也是如此,但我們沒有一個可容許估計量的結論性例子這不是一個廣義的貝葉斯估計量。”
(除了 6 之外的所有陳述都可以在我的書中找到,還有Jim Berger和Peter Hoff的。)
進一步挖掘後,我在拉里布朗的統計指數族基礎中找到了這兩個練習: