隨著比較次數的增加，Benjamini-Hochberg 校正是否更保守？

相對於比較總數，Benjamini-Hochberg 多重檢驗校正有多保守？例如，如果我有兩個組的 18,000 個特​​徵的列表，我執行 Wilcoxon 檢驗以獲得 p 值。我使用 Benjamini-Hochberg 調整了 p 值，結果幾乎沒有任何意義。

我知道隨著比較次數的增加，Bonferroni 校正可能會非常保守，Benjamini-Hochberg 是否具有相同的屬性？

首先，您需要了解這兩個多重測試程序控制的不是同一件事。以您的示例為例，我們有兩組具有 18,000 個觀察變量，您進行了 18,000 次測試，以識別一組與另一組不同的一些變量。

• Bonferroni 校正控制Familywise 錯誤率，即假設所有 18,000 個變量在兩組中具有相同分佈的概率，您錯誤地聲稱“這裡我有一些顯著差異”。通常，您認為如果該概率 < 5%，則您的主張是可信的。
• Benjamini-Hochberg 校正控制錯誤發現率，即您聲稱存在差異的變量中誤報的預期比例。例如，如果將 FDR 控制在 5%，則 20 項測試為陽性，“平均而言”，這些測試中只有 1 項為假陽性。

現在，當比較次數增加時……嗯，這取決於為真的邊際零假設的數量。但基本上，對於這兩個過程，如果你有幾個，比如說 5 或 10 個，真正相關的變量，你有更多的機會在 100 個變量中檢測到它們，而不是在 1,000,000 個變量中檢測到它們。這應該足夠直觀。沒有辦法避免這種情況。

引用自：https://stats.stackexchange.com/questions/21193