樣本量不等：何時退出
我正在對一篇學術期刊文章進行同行評審，作者寫了以下內容作為不報告任何推論統計的理由（我取消了這兩個群體的性質）：
總共 2,349 名受訪者中有 25 名（1.1%）報告了X。我們適當地避免提出將X組與Y組（其他 2,324 名參與者）進行統計比較的分析，因為這些結果可能很大程度上是由偶然性驅動的，結果如此罕見。
我的問題是，這項研究的作者是否有理由在比較群體方面認輸？如果沒有，我可以向他們推薦什麼？
統計檢驗不對樣本量做出假設。當然，各種測試（例如，正態性）存在不同的假設，但樣本量的相等性並不是其中之一。除非使用的測試在其他方面不合適（我現在想不出問題），否則I 類錯誤率不會受到組大小完全不相等的影響。此外，他們的措辭暗示（在我看來）他們相信它會。因此，他們對這些問題感到困惑。
另一方面，II 類錯誤率非常受高度不平等的影響。s。無論進行何種測試（例如，-測試，曼-惠特尼-測試，或- 比例相等的測試都會以這種方式受到影響）。有關這方面的一個例子，請參閱我的回答：如何解釋不同樣本量的均值比較？因此，在這個問題上 ，他們很可能“有理由認輸” 。（具體來說，如果你期望得到一個不顯著的結果，無論效果是否真實，測試的意義何在？）
隨著樣本量的不同，統計功效將收斂到. 這個事實實際上導致了一個不同的建議，我懷疑很少有人聽說過並且可能很難通過審稿人（無意冒犯）：妥協權力分析。這個想法相對簡單：在任何功率分析中，,,,, 和效果大小, 存在於彼此的關係中。指定除一個以外的所有內容後，您可以解決最後一個問題。通常，人們會進行所謂的先驗功率分析，您可以在其中求解（通常你假設）。另一方面，您可以修復,， 和，並求解（或等效地)，如果您指定您願意接受的類型 I 與類型 II 錯誤率的*比率。*按照慣例，和，所以你說 I 型錯誤比 I 型錯誤差四倍。當然，給定的研究人員可能不同意這一點，但是指定給定的比率後，您可以解決您應該使用以可能保持一些足夠的功率。在這種情況下，這種方法對於研究人員來說是一個合乎邏輯的有效選擇，儘管我承認這種方法的奇異性可能使其在可能從未聽說過這種事情的更大的研究社區中難以推銷。