如果多重比較是“計劃的”，你還需要糾正多重比較嗎？

我正在查看一篇已執行 >15 次單獨的 2x2 卡方測試的論文。我建議他們需要糾正多重比較，但他們回答說所有比較都是計劃好的，因此沒有必要。

我覺得這一定不正確，但找不到任何明確說明情況是否如此的資源。

有人可以幫忙嗎？

---

更新：

感謝您提供的所有非常有幫助的回复。為響應@gung 要求提供有關研究和分析的更多信息，他們正在比較兩種類型的參與者（學生、非學生）在兩個條件下跨越三個時間段的計數數據。多個 2x2 卡方檢驗針對每種類型的參與者（如果有意義；例如學生，條件 1，時間段 1 與時間段 2）在每個時間段、每個條件下進行比較，因此所有分析都在測試相同的假設.

恕我直言，這是一個複雜的問題，我想就這種情況發表三點評論。

首先，一般來說，我會更關注您是否面臨一項驗證性研究，其中包含一組在論證性背景下定義的良好假設，還是一項解釋性研究，其中觀察到許多可能的指標，而不是計劃與否（因為你可以只需計劃進行所有可能的比較）。

其次，我還將關注如何討論生成的 p 值。它們是單獨用於提供一組明確的結論，還是作為證據和缺乏證據共同討論？

最後，我將討論由 >15 個單獨的卡方檢驗得出的 >15 個假設實際上是可以總結的幾個假設（可能是單個假設）的表達的可能性。

更一般地說，無論是否預先指定假設，是否糾正多重比較都是您在 I 型錯誤中包含的內容的問題。通過不對 MC 進行校正，您只能保持每個比較類型 I 錯誤率控制。因此，在進行大量比較的情況下，您的家庭類型 I 錯誤率很高，因此更容易出現錯誤發現。

引用自：https://stats.stackexchange.com/questions/255456