Meta-Analysis
統計取證：本福德及其他
有哪些廣泛的方法可以檢測第三方製作的科學作品中的欺詐、異常、捏造等？（最近Marc Hauser 事件促使我提出這個問題。）通常對於選舉和會計欺詐，會引用本福德定律的一些變體。我不確定這如何適用於例如Marc Hauser 案，因為本福德定律要求數字大約是對數一致的。
作為一個具體的例子，假設一篇論文引用了大量統計檢驗的 p 值。可以將這些轉換為對數均勻性，然後應用本福德定律嗎？似乎這種方法會出現各種問題（例如，一些零假設可能合法地為假，統計代碼可能給出僅近似正確的 p 值，測試可能僅給出統一的 p 值漸近地在零下等）
好問題！
在科學背景下，存在各種有問題的報告和有問題的行為：
- 欺詐：我將欺詐定義為作者或分析師故意歪曲結果，並且該歪曲具有足夠嚴重的性質。主要的例子是完全捏造原始數據或匯總統計數據。
- 錯誤：數據分析師在數據分析的許多階段都可能犯錯誤，從數據輸入到數據操作、分析、報告和解釋。
- 不當行為：不當行為有多種形式。一般來說，它可以用一種尋求確認特定立場而不是尋求真相的方向來概括。
不當行為的常見示例包括：
- 檢查一系列可能的因變量並僅報告具有統計意義的變量
- 沒有提到重要的違反假設
- 執行數據操作和異常值刪除程序而不提及它，特別是在這些程序既不合適又純粹是為了使結果看起來更好的情況下
- 提出一個模型作為確認，實際上是探索性的
- 省略與期望論點背道而馳的重要結果
- 僅根據它使結果看起來更好來選擇統計測試
- 運行一系列 5 或 10 個動力不足的研究，其中只有一個具有統計學意義（可能在 p = .04），然後報告該研究而不提及其他研究
一般來說，我假設無能與所有三種形式的問題行為有關。不了解如何做好科學但又想成功的研究人員將更有動力歪曲他們的結果，並且不太可能尊重道德數據分析的原則。
上述區別對檢測有問題的行為有影響。例如，如果您設法辨別出一組報告的結果是錯誤的，那麼仍然需要確定結果是否來自欺詐、錯誤或不當行為。此外，我認為各種形式的不當行為遠比欺詐更為普遍。
關於檢測有問題的行為，我認為這主要是一種來自處理數據、處理某個主題以及與研究人員合作的經驗的技能. 所有這些經驗都增強了您對數據應該是什麼樣子的期望。因此，與預期的重大偏差開始了尋找解釋的過程。研究人員的經驗讓您了解或多或少常見的不當行為。結合起來，這導致了假設的產生。例如，如果我閱讀了一篇期刊文章並且對結果感到驚訝，那麼這項研究的動力不足，並且文章的性質表明作者正在提出一個觀點，我會假設結果可能不應該是信任。
其他資源
- Robert P. Abelson Statistics as a Principled Argument有一章標題為“關於可疑的可疑性”