家庭方面的錯誤邊界：在獨立問題的不同研究中重複使用數據集會導致多個測試問題嗎？
如果一組研究人員對給定的數據集進行多項（假設）測試，則有大量文獻聲稱他們應該對多次測試（Bonferroni 等）使用某種形式的校正，即使測試是獨立的。我的問題是：同樣的邏輯是否適用於多個團隊在同一數據集上測試假設？換一種說法——家庭錯誤計算的障礙是什麼？研究人員是否應該僅限於重複使用數據集進行探索？
我強烈不同意@fcoppens 從在一次調查中認識到多重假設校正的重要性到聲稱“根據相同的推理，如果多個團隊執行這些測試，同樣適用”。
毫無疑問，進行的研究越多，檢驗的假設越多，就會發生越多的 I 類錯誤。但我認為這裡對“家庭錯誤”率的含義以及它們如何應用於實際科學工作存在混淆。
首先，請記住，多重檢驗校正通常出現在沒有預先制定假設*的事後比較中。*當有一小部分預定義的假設時，是否需要相同的校正完全不清楚。
其次，單個出版物的“科學真理”並不取決於出版物中每個單獨陳述的真實性。精心設計的研究從許多不同的角度處理一個整體的科學（而不是統計）假設，並將不同類型的結果放在一起來評估科學假設。每個單獨的結果都可以通過統計測試進行評估。
然而，根據@fcoppens 的論點，如果即使其中一個單獨的統計測試出現 I 類錯誤，也會導致“對‘科學真理’的錯誤信念”。這是完全錯誤的。
與單個統計檢驗的有效性相反，出版物中科學假設的“科學真理”通常來自不同類型證據的組合。堅持多種類型的證據使得科學假設的有效性對於不可避免地發生的個別錯誤具有穩健性。當我回顧我的 50 篇左右的科學出版物時，我很難找到任何像@fcoppens 似乎堅持的那樣在每個細節上都如此完美的文章。然而，我同樣很難找到任何**科學的地方假設是完全錯誤的。不完整的，也許；當然，與該領域後來的發展無關。但在當時的科學知識狀況下並沒有“錯”。
第三，該論點忽略了犯第二類錯誤的成本。II 型錯誤可能會關閉有前途的科學探究的整個領域。如果遵循@fcoppens 的建議，II 類錯誤率將大幅上升，從而損害科學事業。
最後，該建議在實踐中是不可能遵循的。如果我分析一組公開可用的數據，我可能無法知道是否有其他人使用過它，或者出於什麼目的。我無法糾正其他人的假設檢驗。正如我上面所說，我不應該這樣做。