先驗分佈和先驗預測分佈的區別？
在研究貝葉斯統計時，不知何故，我在理解先驗分佈和先驗預測分佈之間的差異方面遇到了問題。先驗分佈很好理解，但我發現理解先驗預測分佈的使用以及為什麼它與先驗分佈不同的原因很模糊。
這裡的預測意味著對觀察的預測。先驗分佈是參數的分佈，而先驗預測分佈是觀測值的分佈。
如果 $ X $ 表示觀察結果，我們使用模型（或可能性） $ p(x \mid \theta) $ 為了 $ \theta \in \Theta $ 那麼先驗分佈是 $ \theta $ ， 例如 $ p_\beta(\theta) $ 在哪裡 $ \beta $ 是一組超參數。請注意，沒有條件 $ \beta $ ，因此超參數被認為是固定的，這在分層模型中不是這種情況，但這不是重點。
先驗預測分佈是 $ X $ “平均”所有可能的值 $ \theta $ ：
$$ \begin{align*} p_\beta(x) &= \int_\Theta p(x , \theta) d\theta \ &= \int_\Theta p(x \mid \theta) p_\beta(\theta) d\theta \end{align*} $$
這種分佈是先驗的，因為它不依賴於任何觀察。
我們也可以用同樣的方式定義後驗預測分佈，也就是說，如果我們有一個樣本 $ X = (X_1, \dots, X_n) $ ，後驗預測分佈為：
$$ \begin{align*} p_\beta(x \mid X) &= \int_\Theta p(x ,\theta \mid X) d\theta \ &= \int_\Theta p(x \mid \theta,X) p_\beta(\theta \mid X)d\theta \ &= \int_\Theta p(x \mid \theta) p_\beta(\theta \mid X)d\theta. \end{align*} $$ 最後一行是基於即將到來的觀察獨立於 $ X $ 給定 $ \theta $ .
因此，後驗預測分佈的構建方式與先驗預測分佈相同，但在後者中，我們使用 $ p_\beta(\theta) $ 在前者中，我們加權 $ p_\beta(\theta \mid X) $ 那是我們的“更新”知識 $ \theta $ .
示例：Beta-二項式
假設我們的模型是 $ X \mid \theta \sim {\rm Bin}(n,\theta) $ IE $ P(X = x \mid \theta) = \theta^x(1-\theta)^{n-x} $ .
這裡 $ \Theta = [0,1] $ .
我們還假設 Beta 先驗分佈 $ \theta $ , $ \beta(a,b) $ ， 在哪裡 $ (a,b) $ 是一組超參數。
先驗預測分佈 $ p_{a,b}(x) $ , 是帶參數的beta 二項分佈 $ (n,a,b) $ .
這種離散分佈給出了得到的概率 $ k $ 成功出自 $ n $ 給定超參數的試驗 $ (a,b) $ 關於成功的概率。
現在假設我們觀察 $ n_1 $ 畫 $ (x_1, \dots, x_{n_1}) $ 和 $ m $ 成功。
由於二項分佈和 beta 分佈是共軛分佈，我們有： $$ \begin{align*} p(\theta \mid X=m) &\propto \theta^m (1 - \theta)^{n_1-m} \times \theta^{a-1}(1-\theta)^{b-1}\ &\propto \theta^{a+m-1}(1-\theta)^{n_1+b-m-1} \ &\propto \beta(a+m,n_1+b-m) \end{align*} $$
因此 $ \theta \mid X $ 遵循帶參數的 beta 分佈 $ (a+m,n_1+b-m) $ .
然後， $ p_{a,b}(x \mid X = m) $ 也是一個 beta 二項分佈，但這次有參數 $ (n_2,a+m,b+n_1-m) $ 而不是 $ (n_2,a,b) $ .
根據一個 $ \beta(a,b) $ 事先分配和 $ {\rm Bin}(n,\theta) $ 可能性，如果我們觀察 $ m $ 成功出自 $ n_1 $ 試驗，後驗預測分佈是帶有參數的 beta 二項式 $ (n_2,a+x,b+n_1-x) $ . 注意 $ n_2 $ 和 $ n_1 $ 在這裡扮演不同的角色，因為後驗預測分佈大約是：
鑑於我目前的知識 $ \theta $ 觀察後 $ m $ 成功出自 $ n_1 $ 試驗，即 $ \beta(n_1,a+x,n+b-x) $ ，我觀察到的概率是多少 $ k $ 成功出自 $ n_2 $ 額外的試驗？
我希望這是有用和清晰的。