最近，我在Klammer 等人的一篇論文中發現。p值應該均勻分佈的聲明。我相信作者，但不明白為什麼會這樣。

Klammer, AA, Park, CY 和 Stafford Noble, W. (2009) SEQUEST XCorr 函數的統計校準。蛋白質組研究雜誌。8（4）：2106-2113。

澄清一點。當原假設為真且滿足所有其他假設時，p 值是均勻分佈的。其原因實際上是將 alpha 定義為 I 類錯誤的概率。我們希望拒絕一個真正的零假設的概率是 alpha，當觀察到，對於任何 alpha 值，發生這種情況的唯一方法是當 p 值來自均勻分佈時。使用正確分佈（正態、t、f、chisq 等）的重點是從檢驗統計量轉換為統一的 p 值。如果原假設為假，那麼 p 值的分佈將（希望）更偏向於 0。

R 的TeachingDemos包中的Pvalue.norm.sim和Pvalue.binom.sim函數將模擬幾個數據集，計算 p 值並繪製它們以展示這個想法。

另見：

Murdoch, D、Tsai, Y 和 Adcock, J (2008)。P 值是隨機變量。美國統計學家，62，242-245。

了解更多詳情。

編輯：

由於人們仍在閱讀此答案並發表評論，因此我想我會解決@whuber 的評論。

確實，當使用複合零假設時只有當 2 個均值完全相等時，p 值才會均勻分佈，如果是任何小於. 使用該Pvalue.norm.sim函數可以很容易地看到這一點，並將其設置為進行單面測試，並使用模擬進行模擬，並且假設的手段不同（但在使 null 為真的方向上）。

就統計理論而言，這無關緊要。考慮一下，如果我聲稱我比您家中的每個成員都高，那麼檢驗這種說法的一種方法是將我的身高與您家中每個成員的身高進行比較。另一種選擇是找到最高的家庭成員，並將他們的身高與我的身高進行比較。如果我比那個人高，那麼我也比其他人高，我的主張是正確的，如果我不比那個人高，那麼我的主張是錯誤的。測試複合空值可以看作是一個類似的過程，而不是測試所有可能的組合，其中我們可以只測試相等部分，因為如果我們可以拒絕它贊成那麼我們知道我們也可以拒絕所有的可能性. 如果我們看一下 p 值的分佈情況那麼分佈將不是完全均勻的，但接近 1 的值比接近 0 的值更多，這意味著 I 類錯誤的概率將小於所選值使其成為保守的測試。均勻成為極限分佈越來越接近（在統計理論術語上比較新的人可能會更好地用分佈至上或類似的東西來說明這一點）。因此，即使在 null 是複合的情況下，通過假設 null 的相等部分來構建我們的測試，那麼我們正在設計我們的測試以具有最多為 I 類錯誤的概率對於 null 為真的任何條件。

引用自：https://stats.stackexchange.com/questions/10613