Jeffreys 先驗二項似然

如果我使用 Jeffreys 先驗作為二項式概率參數 $ \theta $ 那麼這意味著使用 $ \theta \sim beta(1/2,1/2) $ 分配。

如果我轉換到一個新的參考系 $ \phi = \theta^2 $ 然後清楚地 $ \phi $ 也不是作為 $ beta(1/2,1/2) $ 分配。

我的問題是，Jeffreys 在什麼意義上對重新參數化具有先驗不變性？老實說，我想我誤解了這個話題……

讓我們 $ \phi = g(\theta) $ ， 在哪裡 $ g $ 是一個單調函數 $ \theta $ 然後讓 $ h $ 是的倒數 $ g $ ， 以便 $ \theta = h(\phi) $ . 我們可以得到杰弗裡的先驗分佈 $ p_{J}(\phi) $ 有兩種方式：

1. 從二項式模型開始 (1) $$ \begin{equation} \label{original} p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y} \end{equation} $$ 重新參數化模型 $ \phi = g(\theta) $ 要得到 $$ p(y | \phi) = \binom{n}{y} h(\phi)^{y} (1-h(\phi))^{n-y} $$ 並獲得杰弗裡的先驗分佈 $ p_{J}(\phi) $ 對於這個模型。
2. 獲得杰弗裡的先驗分佈 $ p_{J}(\theta) $ 從原始二項式模型 1 並應用變量變化公式獲得誘導先驗密度 $ \phi $ $$ p_{J}(\phi) = p_{J}(h(\phi)) |\frac{dh}{d\phi}|. $$

對重新參數化保持不變意味著密度 $ p_{J}(\phi) $ 兩種方式導出的應該是一樣的。Jeffrey 的先驗具有此特徵 [參考：P. Hoff 的 A First Course in Bayesian Statistical Methods。]

回答您的評論。獲得杰弗裡的先驗分佈 $ p_{J}(\theta) $ 從二項式模型的可能性 $$ p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y} $$ 我們必須通過取似然的對數來計算 Fisher 信息 $ l $ 併計算二階導數 $ l $ $$ \begin{align*} l := \log(p(y | \theta)) &\propto y \log(\theta) + (n-y) \log(1-\theta) \ \frac{\partial l }{\partial \theta} &= \frac{y}{\theta} - \frac{n-y}{1-\theta} \ \frac{\partial^{2} l }{\partial \theta^{2}} &= -\frac{y}{\theta^{2}} - \frac{n-y}{ (1-\theta)^{2} } \end{align*} $$ 和費雪信息是 $$ \begin{align*} I(\theta) &= -E(\frac{\partial^{2} l }{\partial \theta^{2}} | \theta) \ &= \frac{n\theta}{\theta^{2}} + \frac{n - n \theta}{(1-\theta)^{2}} \ &= \frac{n}{\theta ( 1- \theta)} \ &\propto \theta^{-1} (1-\theta)^{-1}. \end{align*} $$ 杰弗裡對此模型的先驗是 $$ \begin{align*} p_{J}(\theta) &= \sqrt{I(\theta)} \ &\propto \theta^{-1/2} (1-\theta)^{-1/2} \end{align*} $$ 這是 $ \texttt{beta}(1/2, 1/2) $ .

引用自：https://stats.stackexchange.com/questions/275600