Statistical-Significance
了解 Gelman 和 Carlin “超越功率計算：……”（2014 年）
我正在閱讀 Gelman & Carlin “超越功率計算：評估 S 型（符號）和 M 型（幅度）錯誤”（2014 年）。我試圖理解主要思想，主要途徑，但我很困惑。誰能幫我提煉精華？
這篇論文是這樣的（如果我理解正確的話）。
- 心理學的統計研究經常受到小樣本的困擾。
- 以給定研究中具有統計學意義的結果為條件，
(1) 真實效應大小可能被嚴重高估，
(2) 效應的符號很可能相反——除非樣本量足夠大。
- 以上是使用人口中效應大小的先前猜測來顯示的，並且該效應通常被認為是很小的。
我的第一個問題是，為什麼要以統計顯著性結果為條件？是為了反映發表偏倚嗎？但情況似乎並非如此。那為什麼呢？
我的第二個問題是，如果我自己進行研究，我是否應該以不同於以往的方式對待我的結果（我做頻率統計，對貝葉斯不太熟悉）？例如，我將獲取數據樣本，估計模型並記錄一些感興趣的效應和圍繞它的置信區間的點估計。我現在應該不相信我的結果嗎？或者如果它在統計上顯著，我應該不相信它？任何給定的先前改變是如何改變的？
（1）對於統計研究的“生產者”和（2）對於應用統計論文的讀者來說，主要的收穫是什麼？
參考：
- 格爾曼、安德魯和約翰·卡林。“超越功率計算：評估 S 型（符號）和 M 型（幅度）錯誤。” 心理科學觀點9.6（2014）：641-651。
PS我認為這裡的新元素是包含先前的信息，我不確定如何處理（來自常客範式）。
我重新閱讀了這篇論文，這次似乎更清楚了。現在@Glen_b 和@amoeba 的有用評論也很有意義。
整個討論的出發點是*已經獲得了統計上顯著的結果。在此條件下，*我們估計的效應大小分佈不同於沒有條件的分佈：
該論文似乎針對兩個問題：
- 發表偏倚（僅發表具有統計學意義的結果）和
- 新研究的設計計算偏差（以太大的預期效應大小作為基準）。
好消息是，這兩個問題都可以以令人滿意的方式解決。
- 給定一個合理的預期效果大小, 估計效應量（假設它被發表是因為它具有統計學意義，否則它不會被發表），估計的標準誤差和分佈族（例如 Normal 或 Student’s) 的估計，我們可以回溯效應大小的無條件分佈.
- 使用以前的發現，在 1. 一個合理的效應大小的幫助下可以確定並用於研究設計。
簡要回答我自己的兩個問題：
- 這與發表偏倚有關，儘管不是在數據挖掘的意義上，而是在動力不足的研究背景下；有一個統計上顯著的結果很可能屬於，比如說，在 null 下的 5% 拒絕（因此 null 實際上是正確的，但我們碰巧最終遠離它）而不是在替代下的拒絕（其中null 不正確，結果是“正版”）。
- 我應該謹慎拒絕零，因為統計上顯著的結果很可能是由於機會（即使機會被限制為 5%）而不是由於“真正的”效應（因為低功率） .