Bayesian

頻率論推理的缺陷

  • March 9, 2020

我無法理解以下示例。

計算機時代統計推斷,Bradley Efron 和 Trevor Hastie,第 31 頁

(1) 第二天發現故障後,觀察可以看出什麼? $ X_i\nsim N(\mu,1) $ 要不就 $ X_i\sim N(\mu_2,1) $ . 一些觀察來自 $ N(\mu,1) $ 而其他人則沒有。關於所有觀察,我們能說些什麼。我錯了嗎?為什麼不使用截斷法線?

(2) 在這種情況下,貝葉斯推理究竟做了什麼?我認為,通過考慮 $ \mu $ 作為隨機變量,它控制(模型)故障,但它考慮 $ X\sim N(\mu , 1) $ 我懷疑接受這一點。

(3) 對話“3.3) 常客推理中的缺陷”是否有效?這公平嗎?毫不誇張地說?

來源:計算機時代統計推斷,Bradley Efron 和 Trevor Hastie,第 31 頁。

我是貝葉斯主義者,但我發現這些對“常客”的批評被誇大和不公平。貝葉斯和古典統計學家都接受所有相同的數學結果是正確的,因此這裡對於各種估計量的性質確實沒有爭議。即使您是貝葉斯主義者,樣本均值也顯然不再是無偏估計量(“偏差”的概念本身就是以未知參數為條件的)因此,首先,常客是正確的,樣本均值不是無偏估計量(並且任何明智的貝葉斯都必須同意這一點給定假設的分佈)。其次,如果常客真的遇到這種情況,他們幾乎肯定會更新他們的估計器以反映數據中的審查機制。

頻率論者完全有可能使用無偏估計量,並且在沒有刪失數據的特殊情況下減少到樣本均值。事實上,大多數標準的常客估計器都會有這個屬性。因此,儘管在這種情況下樣本均值確實是一個有偏估計量,但常客可以使用無偏的替代估計量,並且恰好給出與該特定數據的樣本均值相同的估計值。因此,作為一個實際問題,常客可以愉快地接受這個估計來自樣本均值是來自該數據的正確估計。換句話說,貝葉斯絕對沒有理由需要“來拯救”——常客將能夠完美地適應變化的信息。


**更多細節:*假設你有 $ m $ 未經審查的數據點 $ x_1,…,x_m $ 和 $ n-m $ 刪失數據點,已知位於截止值之上 $ \mu_ = 100 $ . 給定預刪失數據值的基本正態分佈,數據的對數似然函數為:

$$ \ell_\mathbb{x}(\mu) = \sum_{i=1}^m \ln \phi (x_i-\mu) + (n-m) \ln (1 - \Phi(\mu_*-\mu)). $$

自從 $ \ln \phi (x_i-\mu) = - \tfrac{1}{2}(x_i-\mu)^2+\text{const} $ , 微分給出評分函數:

$$ \frac{d \ell_\mathbb{x}}{d \mu}(\mu) = m (\bar{x}_m - \mu)

  • (n-m) \cdot \frac{\phi(\mu_-\mu)}{1 - \Phi(\mu_-\mu)}. $$

所以 MLE 是值 $ \hat{\mu} $ 解決了:

$$ \bar{x}m = \hat{\mu} + \frac{n-m}{m} \cdot \frac{\phi(\mu-\hat{\mu})}{1 - \Phi(\mu_-\hat{\mu})}. $$

MLE 通常是一個有偏估計量,但它應該具有其他合理的頻率屬性,因此在這種情況下它可能被認為是一個合理的估計量。(即使常客正在尋找改進,例如 MLE 的“偏差校正”縮放版本,它也可能是其他漸近等效於 MLE 的估計量。)在沒有刪失數據的情況下,我們有 $ m=n $ , 所以 MLE 減少到 $ \hat{\mu} = \bar{x}_m $ . 因此,在這種情況下,如果常客使用 MLE,他們將對非刪失數據得出相同的估計,就好像他們使用樣本均值一樣。**(請注意,估計器(它是一個函數)和估計器(它只是該函數的一個或幾個輸出值)之間存在差異。

引用自:https://stats.stackexchange.com/questions/453387

comments powered by Disqus