Bayesian

貝葉斯可信區間程序的決策理論依據是什麼?

  • March 15, 2012

(要了解我寫這篇文章的原因,請查看我對這個問題的回答下方的評論。)

III型錯誤和統計決策理論

對錯誤的問題給出正確的答案有時被稱為 III 型錯誤。統計決策理論是不確定性下決策的形式化;它提供了一個概念框架,可以幫助人們避免 III 類錯誤。該框架的關鍵元素稱為損失函數。它有兩個參數:第一個是世界的真實狀態(相關子集)(例如,在參數估計問題中,真實的參數值); 第二個是可能動作集合中的一個元素(例如,在參數估計問題中,估計. 輸出模擬與世界上每個可能的真實狀態相關的每個可能動作的損失。例如,在參數估計問題中,一些眾所周知的損失函數是:

  • 絕對誤差損失
  • 平方誤差損失
  • Hal Varian的 LINEX 損失

檢查答案以找到問題

有一種情況可能會試圖通過專注於製定正確的損失函數並繼續執行決策理論方法的其餘部分(此處未詳細說明)來避免 III 型錯誤。這不是我的簡介——畢竟,統計學家擁有許多行之有效的技術和方法,即使它們並非源自這種方法。但在我看來,最終結果是絕大多數統計學家不知道也不關心統計決策理論,我認為他們錯過了。對於那些統計學家,我認為他們可能會發現統計決策理論在避免第三類錯誤方面有價值的原因是因為它提供了一個框架,可以在其中詢問任何建議的數據分析程序:*該過程以最佳方式處理什麼損失函數(如果有)?*也就是說,究竟在什麼決策情況下,它提供了最好的答案?

後預期損失

從貝葉斯的角度來看,損失函數就是我們所需要的。我們幾乎可以跳過決策理論的其餘部分——幾乎按照定義,最好的辦法是最小化後驗期望損失,即找到動作最小化.

(至於非貝葉斯觀點?嗯,這是頻率論決策理論的一個定理——具體來說,Wald 的完全類定理——最優動作總是最小化關於某些(可能不正確)的貝葉斯後驗預期損失先驗。這個結果的困難在於它是一個存在定理,沒有給出關於使用哪個先驗的指導。但它有效地限制了我們可以“反轉”的程序類別,以確定我們到底是哪個問題特別是,反轉任何非貝葉斯過程的第一步是找出它複製或近似的(如果有的話)貝葉斯過程。)

嘿 Cyan,你知道這是一個問答網站,對吧?

這最終讓我想到了一個統計問題。在貝葉斯統計中,當提供單變量參數的區間估計時,兩個常見的可信區間過程是基於分位數的可信區間和最高後驗密度可信區間。這些過程背後的損失函數是什麼?

在單變量區間估計中,可能的動作集是指定區間端點的有序對集。讓該集合的一個元素表示為.

最高後驗密度區間

設後驗密度為. 最高後驗密度區間對應於損失函數,該損失函數會懲罰不包含真實值的區間,並且會按其長度的比例懲罰區間:

,

在哪裡是指標函數。這給出了預期的後驗損失

.

環境在參數空間內部產生局部最優的必要條件:– 正如預期的那樣,正是 HPD 間隔的規則。

的形式給出了一些關於為什麼 HPD 區間對於單調遞增變換不是不變的見解的參數。這-space HPD 區間轉化為空間不同於-space HPD 區間,因為這兩個區間對應不同的損失函數:-space HPD 間隔對應於變換後的長度懲罰.

基於分位數的可信區間

考慮使用損失函數進行點估計

.

後驗期望損失為

.

環境產生隱式方程

,

也就是最優是個正如預期的那樣,後驗分佈的百分比分位數。

因此,為了獲得基於分位數的區間估計,損失函數為

.

引用自:https://stats.stackexchange.com/questions/24681

comments powered by Disqus