Bayesian

貝葉斯風險的不同定義

  • March 27, 2018

我無法理解貝葉斯風險的正確定義。讓數據/變量,,分佈在(事先的),估計基於變量, 和真實參數和估計參數之間的損失函數. 在我看來,貝葉斯風險有兩種不同的概念:

  1. 對於給定的數據,貝葉斯風險定義為期望接管之前, 和固定的。例如,這就是您可以在 Wikipedia 中找到的內容。
  2. 在像小波理論這樣的函數估計中,當對比貝葉斯和極小極大估計時,風險 定義為期望被接管的地方(在回歸中,其中是信號,這意味著我們對噪聲進行積分)。對於極小極大估計,我們著眼於最大風險 而對於貝葉斯風險,我們將先驗在, 所以貝葉斯風險定義為與對所採取的期望.

因此,一個是為特定變量定義的,使用損失函數,而另一個是為所有變量的預期損失(風險)定義的。我想知道這些是否真的是兩個不同的東西,或者我的理解是錯誤的,或者它們是否是同一事物的兩個方面。我將不勝感激。

引用我的書《貝葉斯選擇》(2007 年,第 2.3 節,第 63-64 頁)

決策理論的貝葉斯方法集成在參數空間上 $ \Theta $ , 自從 $ \theta $ 是未知的,而不是在採樣空間上積分 $ {\cal X} $ , 作為 $ x $ 被觀察到。它依賴於 後驗預期損失 $$ \begin{eqnarray*} \rho(\pi,d|x) & = & \mathbb{E}^\pi[L(\theta,d)|x] \ \tag{1} & = & \int_{\Theta} \mathrm{L}(\theta,d) \pi(\theta|x), \text{d}\theta, \end{eqnarray*} $$它根據參數的後驗分佈對誤差(即損失)進行平均 $ \theta $ , 以觀測值為條件 $ x $ . 給定 $ x $ , 決策產生的平均誤差 $ d $ 實際上是 $ \rho(\pi,d|x) $ . 因此,後驗期望損失是 $ x $ 但是這種依賴不是問題,與風險對參數的頻繁依賴相反,因為 $ x $ , 與之相反 $ \theta $ , 是已知的。

給定先驗分佈 $ \pi $ ,也可以定義 綜合風險,即頻率風險在 $ \theta $ 根據他們的先驗分佈 $$ \begin{eqnarray*} r(\pi,\delta) & = & \mathbb{E}^\pi[R(\theta,\delta)] \ \tag{2} & = & \int_{\Theta} \int_{\cal X} \mathrm{L}(\theta,\delta(x)), f(x|\theta) ,\text{d}x\ \pi(\theta), \text{d}\theta. \end{eqnarray*} $$第二個概念的一個特別的吸引力在於它將一個實數與每個估計量相關聯,而不是一個函數 $ \theta $ . 因此,它在估計量集合上產生了一個總排序,即,允許對估計量進行直接比較。這意味著,在通過先驗分佈考慮先驗信息的同時,貝葉斯方法具有足夠的還原性(在積極意義上),可以做出有效的決策。此外,上述兩個概念是等價的,因為它們導致相同的決定。

更進一步,我對貝葉斯風險使用以下定義:

與先驗分佈相關的貝葉斯估計量 $ \pi $ 和損失函數 $ \mathrm{L} $ 是任何估計器 $ \delta^\pi $ 最小化 $ r(\pi,\delta) $ . 對於每一個 $ x\in\cal{X} $ , 它由 $ \delta^\pi(x) $ , 的論點$$ \min_d \rho(\pi,d|x) $$價值$$ r(\pi) = r(\pi,\delta^\pi)\tag{3} $$則稱為貝葉斯風險

引用自:https://stats.stackexchange.com/questions/337021

comments powered by Disqus