Probability

貝葉斯如何解釋磷(X=x|θ=c)磷(X=X|θ=C)P(X=x|theta=c),這在解釋後驗時是否構成挑戰?

  • August 6, 2021

我已經看過關於概率的貝葉斯與頻率論的解釋以及其他類似的解釋,但這並沒有解決我提出的問題。這些其他帖子提供了與先驗概率和後驗概率相關的解釋, $ \pi(\theta) $ 和 $ \pi(\theta|\boldsymbol{x}) $ , 不是 $ P(X=x|\theta=c) $ . 我對作為參數和觀察數據函數的可能性不感興趣,我對未實現數據點的概率分佈的解釋感興趣。

例如,讓 $ X_1,…,X_n\sim Bernoulli(\theta) $ 成為的結果 $ n $ 拋硬幣和 $ \theta\sim Beta(a,b) $ 以便 $ \pi(\theta|\boldsymbol{x}) $ 是一個的pdf $ Beta(a+\sum x,b + n - \sum x) $ .

貝葉斯如何解釋 $ \theta=c $ ? $ \theta $ 當然被視為隨機變量的未實現或不可觀察的實現,但這仍然不能定義或解釋正面的概率。 $ \pi(\theta) $ 通常被認為是實驗者的先驗信念 $ \theta $ ,但什麼是 $ \theta=c $ ? 也就是說,我們如何解釋支持的單個值 $ \pi(\theta) $ ? 是長期概率嗎?是一種信仰嗎?這如何影響我們對先驗和後驗的解釋?

例如,如果 $ \theta=c $ 等價地 $ P(X=1|\theta=c)=c $ 我是否相信硬幣會正面朝上,然後 $ \pi(\theta) $ 是我對我的信念的信念,在某種意義上,先驗預測分佈也是如此 $ P(X=1)=\int\theta\pi(\theta)d\theta=\frac{a}{a+b} $ . 說“如果 $ \theta=c $ 是已知的”是說我知道我自己的信念。說“如果 $ \theta $ 是未知的”是說我對自己的信念只有一個信念。 我們如何證明將信念的信念解釋為適用於正在調查的硬幣?

如果 $ \theta=c $ 等價地 $ P(X=1|\theta=c)=c $ 是正在研究的硬幣的未知固定真實長期概率:我們如何證明混合貝葉斯定理中概率的兩種解釋,就好像它們是等價的?貝葉斯定理如何不暗示只有一種概率?我們如何能夠將後驗概率陳述應用於未知的固定真實 $ \theta=c $ 在調查中?

答案必須解決這些具體問題。雖然非常感謝參考,但必須提供這些問題的答案。我在下面自己的解決方案中提供了四個選項或建議作為答案,但在解釋方面存在挑戰 $ P(X=x|\theta=c) $ 作為一種信念或長期頻率。請確定我的答案中哪個選項與您的答案最接近,並提供改進我的答案的建議。

我不寫 $ P(X=x|\theta=c) $ 要輕蔑。我寫它是為了明確,因為 $ P(X=x|Y=y) $ 不是一回事 $ P(X=x|Y) $ . 相反,人們可能傾向於根據先驗的樣本來編寫,並使用實現的索引 $ \theta $ . 但是,我不想根據先驗的有限樣本來呈現這一點。

更一般地說,貝葉斯如何解釋 $ P(X=x|\theta=c) $ 要么 $ P(X\le x|\theta=c) $ 對於任何概率模型,這種解釋在解釋時是否會帶來任何挑戰 $ P(\theta=s|\boldsymbol{x}) $ 要么 $ P(\theta\le s|\boldsymbol{x}) $ ?

我已經看到其他一些帖子解決了有關貝葉斯後驗概率的問題,但解決方案並不是很令人滿意,通常只考慮膚淺的解釋,例如信息的連貫表示

相關話題:

貝葉斯和常客方法給出不同結果的例子

貝葉斯與常客對概率的解釋

更新: 我收到了幾個答案。似乎是一種信念解釋 $ P(X=x|\theta=c) $ 是貝葉斯範式下最合適的, $ \theta $ 作為正面的限制比例(這不是概率)和 $ \pi(\theta) $ 代表信念 $ \theta $ . 我在答案中修改了選項 1,以準確反映兩種不同的信念解釋 $ P(X=x|\theta=c) $ . 我還提出了貝葉斯定理如何產生合理的點和區間估計 $ \theta $ 儘管在解釋方面存在這些缺陷。

我在這裡發布了一個相關的(但更廣泛的)問題和答案這可能會更清楚地說明這個問題,提供貝葉斯 IID 模型的模型設置的完整背景。

您可以在Bernardo 和 Smith (1994)中找到對這些類型模型的貝葉斯解釋的很好的入門讀物,您可以在O’Neill (2009)中找到對這些特定解釋問題的更詳細討論 。參數操作意義的起點 $ \theta $ 是從大數的強定律中獲得的,在這種情況下,它說:

$$ \mathbb{P} \Bigg( \lim_{n \rightarrow \infty} \frac{1}{n} \sum_{i=1}^n X_i = \theta \Bigg) = 1. $$

這讓我們部分地對參數進行了全面解釋,因為它幾乎肯定地與可觀察序列的 Cesàro 極限等價。不幸的是,這個概率陳述中的 Cesàro 極限並不總是存在(儘管它幾乎肯定存在於 IID 模型中)。因此,使用O’Neill (2009)中提出的方法,您可以考慮 $ \theta $ 為序列的巴拿赫極限 $ X_1,X_2,X_3 $ , 總是存在的,當後者存在時等價於 Cesàro 極限。因此,我們將以下有用的參數解釋為可觀察序列的操作定義函數。

**定義:**參數 $ \theta $ 是序列的巴拿赫極限 $ \mathbf{X} = (X_1,X_2,X_3,…) $ .

(也可以使用通過引用底層 sigma 字段來定義參數的替代定義;這些本質上只是做同一件事的不同方法。)這種解釋意味著參數是可觀察序列的函數,所以一旦序列給定參數是固定的。因此,不能準確地說 $ \theta $ 是“未實現的”——如果序列是明確定義的,那麼 $ \theta $ 必須有一個值,儘管它是未被觀察到的(除非我們觀察到整個序列)。然後,感興趣的採樣概率由 de Finetti 的表示定理給出。

表示定理(de Finetti的改編): 如果 $ \mathbf{X} $ 是二進制值的可交換序列(並且與 $ \theta $ 定義如上),因此元素 $ \mathbf{X}|\theta $ 與抽樣分佈無關 $ X_i|\theta \sim \text{IID Bern}(\theta) $ 這樣對所有人 $ k \in \mathbb{N} $ 我們有: $$ \mathbb{P}(\mathbf{X}_k=\mathbf{x}k | \theta = c) = \prod{i=1}^k c^{x_i} (1-c)^{1-x_i}. $$ 這個定理的特殊版本改編自 O’Neill (2009),它本身就是對 de Finetti 著名的表示定理的一個小的重新構建。

現在,在這個 IID 模型中,特定概率 $ \mathbb{P}(X_i=1|\theta=c) = c $ 只是該值的正結果的採樣概率 $ X_i $ . 這表示以指標隨機變量序列的巴拿赫極限為條件的單個正指標的概率等於 $ c $ .

由於這是您感興趣的領域,我強烈建議您閱讀O’Neill (2009)以了解此處使用的更廣泛的方法以及它與常客方法的對比。那篇論文提出了一些與您在此處提出的問題類似的問題,因此我認為它可能有助於您理解如何在貝葉斯範式中以可操作的方式構建這些事物。

我們如何證明在貝葉斯定理中混合兩種概率解釋,就好像它們是等價的一樣?

我在這裡假設您指的是這樣一個事實,即在這種情況下存在類似於概率的“頻率論解釋”的某些限制性對應關係。貝葉斯主義者通常對概率的含義進行認知解釋(貝爾納多和史密斯稱之為“主觀解釋”)。因此,所有概率陳述都被解釋為分析師對不確定性的信念。儘管如此,貝葉斯主義者也承認大數定律 (LLN) 是有效的,並且在適當的條件下適用於他們的模型,因此事件的認知概率可能等於序列的極限頻率.

在本例中,參數的定義 $ \theta $ 是可觀察值序列的巴拿赫極限,因此它必然對應於一個極限頻率。關於概率的陳述 $ \theta $ 因此也是關於可觀察值序列的極限頻率的概率陳述。這沒有矛盾。

引用自:https://stats.stackexchange.com/questions/539351

comments powered by Disqus