基於事後分析的出版工作有問題嗎？[複製]

如今，在科學領域，越來越多的高層人士反對進行事後分析，他們建議不要收集大量數據，而是在收集數據後編造故事並報告重要發現。在我所在領域的心理學中，最近一些期刊接受了研究提案的預註冊，並且這些期刊允許無論結果如何都可以發表這些研究（參見http://www.sciencemag.org/careers/2015/12/register -your-study-new-publication-option )

是的，我理解人們對如何完成科學的概念化是：

1. 我有一些相互競爭的（可能是相互排斥的）假設
2. 我設計了一項研究（也許是一個實驗）並收集數據
3. 我查看數據，看看它是否支持我的假設
4. 我發表我的發現

然而，某些人的“事後”研究方式真的有問題嗎？如果現實中存在隱藏模式，而研究人員目前無法真正掌握它，那麼進行探索性研究並收集大量數據並以事後的方式檢查它們之間的關係有什麼問題？為什麼編造一個故事來掩蓋一項研究是一個問題？

顯然，事後分析和解釋性研究為理解和討論現象提供了有用的文章：它們和發表它們沒有任何問題。這樣的設計成為一種不好的做法的時刻是當它們被用於得出只有適當的專門研究才能支持的結論時。在解釋事後分析時必須小心，對於數據分析師以及解釋報告結果的人。

實際上，在大多數情況下，對數據的事後探索讓我們完全沉浸在“分岔路的花園”中，幾乎不可能進行適當的假設檢驗（至少不會大幅增加 II 型錯誤），因為那時會有大量選擇以數據為條件（例如要排除哪些變量，如何對數據進行分組，要測試什麼關係？）。確實，在大型數據集中，您可以以某種方式查看數據（這裡我的意思是具有良好的分組、閾值、擬合函數..），從而出現引人注目的模式。數據中的模式並不意味著現像中的模式，只有適當的複制才能證明結論是正確的（只要假設檢驗可以證明結論……）。

引用自：https://stats.stackexchange.com/questions/307185