Hypothesis-Testing

為什麼假設檢驗中的無偏條件稱為“無偏”?

  • November 13, 2020

我已經知道“無偏”假設檢驗的定義: $$ \max{\pi(\theta) : \theta \in \Omega_0} \leq \min{\pi(\theta) : \theta \in \Omega - \Omega_0}, $$ 在哪裡 $ \pi(\theta) $ 是檢驗的冪函數。但是,與非常直觀的無偏估計器不同,我無法理解“無偏”測試的實際含義。我發現了這個相關的問題(Unbiased test,它到底是什麼意思?),但我仍然需要一些幫助。如果滿足上述條件,為什麼我們稱測試為“無偏”?

一些初步的歷史資料

這是一個有趣的問題,可以通過對不同類型統計問題的“無偏性”的原始含義進行一些偵探工作來找到答案。20世紀初,古典統計學家發展了許多經典的統計方法,並在不同的統計背景下制定了一些他們認為有利的條件。他們將這些條件中的每一個都稱為“無偏性”,儘管它們是在不同類型的統計問題中出現的不同條件。

Jerzy Neyman 和 Egon Pearson 開發了“無偏”假設檢驗條件,Neyman 開發了“無偏”置信區間條件,Florence David 和 Neyman 開發了“無偏”估計量條件。到 1930 年代後期和整個 1940 年代,這三個不同的概念都被稱為“無偏見”,它們在不同的環境中運作。內曼參與製定了這些條件中的每一個,並且從它們都被賦予相同的名稱這一事實中,我們可以看出他清楚地感覺到這些不同的條件本質上表達了相同的統計特性。

在 1940 年代後期,統計學家Erich Lehmann 著手使用統計決策理論調查和統一這些不同的條件。這個問題在他的開創性論文Lehmann (1951)中得到了解決(完整引用如下)。本文提出了一個基於統計決策理論的統一的無偏理論(有時在 Lehmann 之後被稱為“Lehmann-unbiasedness”或“L-unbiasedness”)。Lehmann 表明,“無偏性”的單一決策理論條件包含了假設檢驗、置信區間和點估計中使用的三個特定條件。

除了本身就是一篇出色的論文之外,這篇論文還展示了早期古典統計學家(尤其是 Jerzy Neyman)令人難以置信的天才,他們能夠為不同類型的問題制定有用的統計條件,並將它們稱為“無偏性”即使他們還沒有為此制定出統一的理論。這些早期的統計學家能夠直觀地看到,所有這些看似不同的概念都與同一個潛在的早期概念“偏差”相關,儘管統一的概念尚未形成。Lehmann 出現並在他的論文中將其形式化,並表明這些早期的統計學家以一種可以在一個更廣泛的定義中統一的方式恰當地命名了這些概念。


“L-無偏性”(“Lehmann-unbiasedness”)理論概述

如果您有數學背景,我強烈建議您閱讀 Lehmann 的論文以全面闡述該理論(另請參閱他關於假設檢驗的書的第 1.5 節)。他的無偏概念基於統計決策理論。假設您觀察到一個數據向量 $ \mathbf{x} \in \mathscr{X} $ 來自由參數參數化的模型 $ \theta \in \Theta $ . 假設你有一個決策程序 $ \delta: \mathscr{X} \rightarrow \mathscr{D} $ 將每個可能的觀察數據向量映射到集合中的一個決策 $ \mathscr{D} $ , 和損失函數 $ L: \Theta \times \mathscr{D} \rightarrow \mathbb{R}_+ $ 給出取決於參數值和做出的決定的損失。

現在,假設對於每個參數 $ \theta \in \Theta $ 有一個獨特的正確決定 $ d(\theta) \in \mathscr{D} $ 並且決策集中的每個決策對於某些參數值都是正確的。還假設對於任何決策,損失對於正確決策的參數值是不變的。在這種情況下,損失僅取決於決定 $ \delta(\mathbf{x}) $ 這是採取的,以及正確的決定 $ d(\theta) $ . 假設我們現在將這種損失表示為 $ \tilde{L}(d(\theta), \delta(\mathbf{x})) $ . 在這種決策理論的背景下,萊曼說,決策過程 $ \delta $ 如果對所有人來說是“L-無偏的” $ \theta \in \Theta $ 我們有:

$$ \mathbb{E}\theta[ \tilde{L}(d(\theta), \delta(\mathbf{X}))] = \min{d' \in \mathscr{D}} \mathbb{E}_\theta[ \tilde{L}(d', \delta(\mathbf{X}))]. $$

這個條件說,如果 $ \theta $ 是真實的參數值,那麼當決策過程選擇與該參數相關的*正確決策時,預期損失將最小化。*這樣做的決策過程是“L-無偏的”,而不能這樣做的決策過程是“L-有偏的”。

Lehmann 在他的論文中表明,在損失函數的一些簡單且令人信服的形式下,這種無偏性概念簡化為假設檢驗、置信區間和點估計中“無偏性”的特定形式。對於點估計,“L-無偏性”簡化為估計器在平方誤差損失下的無偏性的標準概念。對於置信區間,“L-無偏性”使用固定損失將參數從區間中排除(否則為零損失)簡化為無偏性的標準概念。在假設檢驗中,“L-無偏性”在下面描述的損失函數下簡化為標準的無偏性概念。

在假設檢驗中,萊曼考慮了決策 $ d_0 $ 和 $ d_1 $ 接受或拒絕原假設,並使用一個損失函數,該損失函數對於正確決策具有零損失,對於不正確決策使用固定非零損失。(I 類錯誤的損失可能與 II 類錯誤的損失不同,但損失在相同假設內的參數值上是固定的。)這給出了損失函數:

$$ L(\theta, d) = \begin{cases} L_\text{I} \cdot \mathbb{I}(d=d_1) & & & \text{if } \theta \in \Theta_0, \[6pt] L_\text{II} \cdot \mathbb{I}(d=d_0) & & & \text{if } \theta \in \Theta_1, \[6pt] \end{cases} $$

在哪裡 $ \Theta_0 $ 和 $ \Theta_1 $ 分別表示空參數空間和替代參數空間,並且 $ L_\text{I}>0 $ 和 $ L_\text{II}>0 $ 分別是 I 類和 II 類錯誤的損失。在這種情況下,L-無偏的條件簡化為:

$$ \begin{align} \mathbb{P}\theta(\delta(\mathbf{X}) = d_1) &\geqslant \frac{L\text{I}}{L_\text{I}+L_\text{II}} \quad \quad \quad \text{for } \theta \in \Theta_0, \[6pt] \mathbb{P}\theta(\delta(\mathbf{X}) = d_1) &\leqslant \frac{L\text{I}}{L_\text{I}+L_\text{II}} \quad \quad \quad \text{for } \theta \in \Theta_1. \[6pt] \end{align} $$

這當然是無偏假設檢驗的定義,取 $ \alpha = L_\text{I}/(L_\text{I}+L_\text{II}) $ . 您可以在 Lehmann 論文中閱讀更詳細和更有趣的討論,但這為您提供了他的基本概念的要點以及它如何簡化為假設檢驗上下文中使用的概念。


Lehmann, EL (1951)無偏見的一般概念數理統計年鑑 22(4),第 587-592 頁。

引用自:https://stats.stackexchange.com/questions/496259

comments powered by Disqus