為什麼貝葉斯的歸一化常數不是邊際分佈
貝葉規則的公式如下$$ p(\theta |D) = \frac{p(D|\theta)p(\theta)}{\int p(D|\theta)p(\theta)d\theta} $$
在哪裡 $ \int p(D|\theta)p(\theta)d\theta $ 是歸一化常數 $ z $ . 怎麼 $ z $ 當評估積分成為邊際分佈時，評估為常數 $ p(D) $ ?
$ p(D) $ 是關於變量的常數 $ \theta $ ，而不是關於變量 $ D $ .
考慮到 $ D $ 作為問題中給出的一些數據和 $ \theta $ 作為要從數據中估計的參數。在這個例子中， $ \theta $ 是可變的，因為我們不知道要估計的參數的值，但數據 $ D $ 是固定的。 $ p(D) $ 給出觀察固定數據的相對可能性 $ D $ 我們觀察到的，當 $ D $ 是恆定的並且不以任何方式依賴於可能的參數值 $ \theta $ .
**附錄：**可視化肯定會有所幫助。讓我們制定一個簡單的模型：假設我們的先驗分佈是均值為 0，方差為 1 的正態分佈，即 $ p(\theta) = N(0, 1)(\theta) $ . 假設我們要觀察一個數據點 $ D $ ， 在哪裡 $ D $ 從具有均值的正態分佈中得出 $ \theta $ 和方差1，即 $ p(D | \theta) = N(\theta, 1)(D) $ . 下面繪製的是未歸一化的後驗分佈 $ p(D | \theta) p(\theta) $ ，與歸一化後驗成正比 $ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} $ .
對於任何特定的值 $ D $ ，看看這張圖的一部分（我用紅色和藍色顯示了兩個）。這裡 $ p(D) = \int p(D | \theta) p(\theta) d\theta $ 可以可視化為每個切片下方的區域，我也將其繪製為綠色。由於藍色切片的面積比紅色切片大，因此它具有更高的 $ p(D) $ . 但是您可以清楚地看到，如果它們下面有不同的區域，則它們目前不能是正確的分佈，因為它們兩個的區域都不能為 1。這就是為什麼每個切片需要通過除以其值來歸一化 $ p(D) $ 使其成為適當的分佈。
