I 型和 II 型錯誤的概率是否負相關?
在我擔任助教的一門基礎統計學課上,教授說,作為 I 類錯誤的概率增加,第二類錯誤的概率減少,反之亦然。所以這向我表明.
但是,如何通過一般假設檢驗證明這一點?這種說法是否普遍正確?
我可以嘗試一個特定的案例(比如和) 但顯然,這不足以處理這個問題。
這些數量(和) 不是隨機變量,所以我不願談論它們的 Pearson 相關性;我不確定這在什麼意義上適用。
這兩者在某種意義上是負相關的,一般來說(但見下文*) - 並持有其他東西(如樣本量和您計算的效果大小) 相等 - 如果你改變, 然後將向相反的方向移動(具體而言,在典型情況下,是一個函數; 指定足夠的數量來確定這將取決於- 在大多數合理的情況下,這種關係 - 你想在實際測試中使用的那種 - 是負相關的)。
例如,考慮一些功率曲線。移動將推動功率曲線() 向上或向下,所以在曲線上的某個點(即曲線與 1 之間的距離)隨著增加。這是一個帶有雙尾檢驗的示例(例如 t 檢驗)。
單尾情況類似,但您需要關注上圖的右半部分(圖片左半部分的兩條曲線將向下拖至零)
- 在某些情況下,情況並非如此。考慮通過 Kolmogorov-Smirnov 測試來測試制服 (0,1)。
讓我們考慮一下我們穿制服的可能性 (或者實際上,任何在單位區間之外具有一定概率的分佈)。
如果我觀察到一個不在 (0,1) 中的值,則 Kolmogorov-Smirnov 檢驗不一定拒絕空值。但是我可以做第二個測試,(我們稱之為 KS* 測試),它就像 Kolmogorov-Smirnov 一樣,除了當我們觀察到 (0,1) 之外的值時,我們也拒絕空值,無論是否通常的統計達到臨界值。
然後,對於任何概率在 (0,1) 之外的替代方案,我們已經降低了 II 類錯誤率(從普通 KS 測試的錯誤率)而不改變一點也不。
(在這種情況下使用 KS 通常不是一個好主意,因此如果您知道這是一種可能性,則需要仔細考慮替代方案)