我們常客真的只是隱含/不知情的貝葉斯主義者嗎?
對於給定的推理問題,我們知道貝葉斯方法通常在形式和結果上都不同於 fequentist 方法。常客(通常包括我)經常指出他們的方法不需要先驗,因此更多的是“數據驅動”而不是“判斷驅動”。當然,貝葉斯可以指向無信息的先驗,或者,為了務實,只使用真正分散的先驗。
我擔心,尤其是在對我的經驗主義客觀性感到一絲沾沾自喜之後,我的所謂“客觀”方法可能可以在貝葉斯框架中製定,儘管有一些不尋常的先驗和數據模型。在那種情況下,我是否只是對我的常客方法所暗示的荒謬的先驗和模型一無所知?
如果貝葉斯主義者指出這樣的表述,我想我的第一反應會是“嗯,你能做到這一點很好,但我不是這麼想的!”。然而,誰在乎我是怎麼想的,或者我是如何制定它的。如果我的程序在統計/數學上等同於某個貝葉斯模型,那麼我隱含地(不知不覺!)執行貝葉斯推理。
下面的實際問題
這種認識大大削弱了任何自鳴得意的誘惑。但是,我不確定貝葉斯範式是否可以適應所有常客程序(同樣,前提是貝葉斯選擇合適的先驗和可能性)。我知道反過來是假的。
我問這個是因為我最近發布了一個關於條件推理的問題,這導致我寫了以下論文:here(見 3.9.5,3.9.6)
他們指出了 Basu 的著名結果,即可能存在不止一個輔助統計數據,從而提出了哪個“相關子集”最相關的問題。更糟糕的是,它們展示了兩個例子,即使你有一個獨特的輔助統計數據,它也不會消除其他相關子集的存在。
他們繼續得出結論,只有貝葉斯方法(或與其等效的方法)才能避免這個問題,從而允許毫無問題的條件推理。
貝葉斯統計可能並非如此 $ \supset $ Fequentist Stats——這是我在這裡向這個小組提出的問題。但似乎這兩種範式之間的基本選擇與其說是哲學,不如說是目標:你需要高條件準確性還是低無條件錯誤:
- 當我們必須分析單個實例時,高條件精度似乎是適用的——我們希望正確地進行這個特定的推理,儘管這種方法可能不適合或不准確用於下一個數據集(超條件/專業化)。
- 如果我們願意在某些情況下做出有條件的不正確推斷,那麼低無條件錯誤是合適的,只要我們的長期錯誤被最小化或控制。老實說,在寫完這篇文章之後,我不確定為什麼我會想要這個,除非我時間緊迫並且無法進行貝葉斯分析……嗯。
我傾向於支持基於似然的 Fequentist 推理,因為我從似然函數中獲得了一些(漸近/近似)條件,但不需要擺弄先驗 - 但是,我對貝葉斯推理越來越熟悉,尤其是如果我看到了小樣本推斷的先前 aa正則化項。
對不起旁邊。對我的主要問題的任何幫助表示讚賞。
我認為頻率論者確實經常是“隱含/不知情的貝葉斯主義者”,因為在實踐中,我們經常希望對沒有長期頻率的事物進行概率推理。經典的例子是零假設統計檢驗 (NHST),我們真正想知道的是零假設和研究假設為真的相對概率,但我們不能在頻率論者的環境中這樣做,因為特定假設的真實性沒有(非平凡的)長期運行頻率 - 要么是真的,要么不是。頻繁的 NHST 通過替換一個不同的問題來解決這個問題,“在零假設下觀察結果至少為極端的概率是多少”,然後將其與預先確定的閾值進行比較。然而這個程序在邏輯上不允許我們得出關於 H0 或 H1 是否正確的任何結論,並且在這樣做時,我們實際上是在走出頻率論框架進入(通常是主觀的)貝葉斯框架,我們得出結論,在 H0 下觀察到這樣一個極值的概率是如此之低,以至於我們不再相信 H0 可能是真的(注意這是隱含地將概率分配給特定假設)。
請注意,常客程序實際上沒有主觀性或先驗性,這實際上不是真的,在 NHST 中,p 值的閾值,, 與先驗的目的大致相同和在貝葉斯分析中。備受討論的 XKCD 動畫片說明了這一點:
頻率論者的結論不合理的主要原因是並不代表關於探測器和/或太陽物理學的合理知識狀態(我們知道太陽爆炸的可能性極小,更不用說探測器有誤報)。請注意,在這種情況下,太陽爆炸的結論是從低 p 值(貝葉斯推論)推斷出來的,但它在邏輯上並不必然。主觀性仍然存在,但在分析中沒有明確說明,經常被忽視。
可以說置信區間經常被使用(並解釋為)一個區間,在該區間中,我們可以期望以給定的概率看到觀察結果,這也是貝葉斯解釋。
理想情況下,統計學家應該意識到這兩種方法的優缺點,並準備好為手頭的應用程序使用正確的框架。基本上,我們的目標應該是使用對我們真正想要回答的問題提供最直接答案的分析(而不是悄悄地替換一個不同的答案),因此在我們實際上對長期頻率感興趣的情況下,頻率論方法可能是最有效的情況並非如此的貝葉斯方法。
我懷疑最常見的問題可以由貝葉斯人回答,因為沒有什麼可以阻止貝葉斯人回答諸如“觀察到一個結果的概率至少是極端的,如果是真的”,但是我需要對那個有趣的問題做一些閱讀。