Bayesian

MAP 解決方案L(θ)=我[θ≠θ∗]大號(θ)=一世[θ≠θ∗]L(theta) = mathcal{I}[theta ne theta^{*}]

  • June 5, 2018

我在其中一門在線課程中看到了這些幻燈片(幻燈片#16 和#17)。講師試圖解釋最大後驗估計(MAP)實際上是如何解決的, 在哪裡是真正的參數。

有人可以解釋一下這是怎麼回事嗎?

編輯:添加幻燈片,以防鏈接斷開。 在此處輸入圖像描述

在此處輸入圖像描述

通過瀏覽您分享的幻燈片,在我看來,這個想法是解釋如何使用 MAP 估計來估計後驗的不同屬性,例如均值、眾數和中位數。我將嘗試在Stephen M. Kay 的著作《統計信號處理基礎》中介紹的通用貝葉斯估計量的背景下解釋這一點。

讓我們首先考慮與估計參數相關的三種風險(即成本函數) $ \theta $ :

  1. $ C(e) = e^2 $
  2. $ C(e) = |e| $
  3. $ if -\delta < e < \delta, C(e)=0 $ ; 別的 $ C(e)=1 $

在哪裡, $ e = \theta - \hat{\theta} $ , 其中 $ \hat{\theta} $ 是估計值和 $ \theta $ 是真正的參數。在貝葉斯估計中,目標是最小化預期風險,即:

$ E[C(e)]= \int_X \int_{\theta} C(e)p(X,\theta)d\theta dX = \int_X \left[\int_\theta C(e)p(\theta|X)d\theta\right] p(X)dX $

因為我們只關心 $ \theta $ ,我們將關注內積分 $ \min_{\theta}\int_\theta C(e)p(\theta|X)d\theta $ .

現在,取決於哪個 $ C(e) $ 我們選擇後,估計器會給我們不同的後驗屬性。例如,如果我們選擇第一種情況, $ C(e) = e^2 $ , 最小化 $ \theta $ 為了 $ \int_\theta C(e)p(\theta|X)d\theta $ , 是均值。因為你的問題是關於指標功能 $ I[\hat{\theta}\ne \theta] $ ,我將解決上面提到的第三個風險(如果你考慮一下 $ \delta\rightarrow 0 $ 相當於使用指標)。

對於上述案例 3:

$ \int_\theta C(e)p(\theta|X)d\theta = \int_{-\infty}^{\hat{\theta}-\delta}p(\theta|X)d\theta + \int_{\hat{\theta}+\delta}^{\infty}p(\theta|X)d\theta = 1 - \int_{\hat{\theta}+\delta}^{\hat{\theta}+\delta}p(\theta|X)d\theta $

這對於 $ \delta \rightarrow 0 $ 最小化時 $ \hat{\theta} $ 對應於後驗的模式。

引用自:https://stats.stackexchange.com/questions/349815

comments powered by Disqus