Bayesian

是平均(貝葉斯)後驗估計𝜃θtheta一個(Frequentist)無偏估計量𝜃θtheta?

  • November 12, 2017

我想知道貝葉斯和頻率統計相互聯繫的不同方式。

我記得參數的最大似然估計 $ \theta $ 不一定是該參數的無偏估計量。

這讓我想知道:平均後驗估計是 $ \theta $ 無偏估計?

那是,

做 $ \phi(x)=E(\theta\mid x) $ , 暗示 $ E(\phi(x)\mid\theta)=\theta $ ?

請注意,這確實是一個有意義的問題,因為 $ \phi(x) $ ,雖然它是貝葉斯估計量,但只是從數據到實線的函數,因此也可以看作是經典的頻率估計量。

如果這個問題不能籠統地回答,請假設先驗是統一的。

如果沒有,是否有其他貝葉斯估計量(即從後驗到 $ \mathbb R $ ) 這始終是常客意義上的無偏估計量?

這是一個有意義的問題,答案是眾所周知的:當使用適當的先驗時 $ \pi $ 在 $ \theta $ , 後驗均值 $ \delta^\pi(x) = \mathbb{E}^\pi[\theta|x] $ 不能不偏不倚。否則綜合貝葉斯風險為零: $$ \begin{align*} r(\pi; \delta^\pi) &= \overbrace{\mathbb{E}^\pi{\underbrace{\mathbb{E}^X[(\delta^\pi(X)-\theta)^2|\theta]}{\text{exp. under likelihood}}}}^{\text{expectation under prior}}\ &= \mathbb{E}^\pi{\mathbb{E}^X[\delta^\pi(X)^2+\theta^2-2\delta^\pi(X)\theta|\theta]}\ &= \mathbb{E}^\pi{\mathbb{E}^X[\delta^\pi(X)^2+\theta^2]|\theta}- \mathbb{E}^\pi{\theta \mathbb{E}^X[\delta^\pi(X)|\theta]}-\overbrace{\mathbb{E}^X{\mathbb{E}^\pi[\theta|X]\delta^\pi(X)}}^{\text{exp. under marginal}}\ &= \mathbb{E}^\pi[\theta^2]+\underbrace{\mathbb{E}^X[\delta^\pi(X)^2]}{\text{exp. under marginal}} -\mathbb{E}^\pi[\theta^2]-\mathbb{E}^X[\delta^\pi(X)^2]\ & = 0 \end{align*} $$ [符號: $ \mathbb{E}^X $ 意思是 $ X $ 是要被整合到這個期望中的隨機變量,或者在可能性下(條件 $ \theta $ )或邊緣(整合出 $ \theta $ ) 儘管 $ 𝔼^π $ 認為 $ θ $ 為待積分的隨機變量。注意 $ \mathbb{E}^X[\delta^\pi(X)] $ 是邊緣的一個整體,而 $ \mathbb{E}^X[\delta^\pi(X)|\theta] $ 是抽樣分佈的一個組成部分。]

由於綜合貝葉斯風險是無限的,因此該論點不會擴展到像平面先驗(不統一!)這樣的不當先驗。因此,一些廣義貝葉斯估計量可能證明是無偏的,例如正態均值問題中的 MLE,它也是平坦先驗下的貝葉斯後驗期望。(但是對於不恰當的先驗,不存在無偏性的一般性質!)

一個有趣的附帶屬性是 $ \delta^\pi(x) = \mathbb{E}^\pi[\theta|x] $ 在貝葉斯意義上是足夠的,因為 $$ \mathbb{E}^\pi{\theta|\mathbb{E}^\pi[\theta|x]}=\mathbb{E}^\pi[\theta|x] $$以 $ \mathbb{E}^\pi[\theta|x] $ 與調節相同 $ x $ 用於估計 $ \theta $ .

引用自:https://stats.stackexchange.com/questions/313318

comments powered by Disqus