Bayesian

適當的先驗和指數似然會導致不適當的後驗嗎?

  • October 9, 2018

(這個問題的靈感來自西安的這篇評論。)

眾所周知,如果先驗分佈 $ \pi(\theta) $ 是適當的和可能性 $ L(\theta | x) $ 是明確定義的,那麼後驗分佈 $ \pi(\theta|x)\propto \pi(\theta) L(\theta|x) $ 幾乎可以肯定是正確的。

在某些情況下,我們使用緩和或指數似然來代替,導致偽後驗

$$ \tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha $$ 對於一些 $ \alpha>0 $ (例如,這可能具有計算優勢)。

在這種情況下,是否有可能有一個正確的先驗但不正確的偽後驗?

為了 $ \alpha \leq 1 $ ,也許這是一個論證,表明不可能構造這樣的後驗?

我們想知道是否有可能 $ \int \tilde \pi(\theta|x)d\theta = \infty $ .

在 RHS 上:

$$ \int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x)) $$

如果 $ \alpha \leq 1 $ , $ x^{\alpha} $ 是一個凹函數,所以由 Jensen 不等式:

$$ E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty $$

… 在哪裡 $ m(x) $ 正如西安所指出的,是歸一化常數(證據)。

引用自:https://stats.stackexchange.com/questions/370919

comments powered by Disqus