如果我們未能在一項大型研究中拒絕原假設，這難道不是原假設的證據嗎？
零假設顯著性檢驗的一個基本限制是它不允許研究人員收集支持零假設的證據（來源）
我看到這種說法在多個地方重複出現，但我找不到理由。如果我們進行了一項大型研究，但我們沒有找到反對零假設的統計顯著證據，那**不就是零假設的證據嗎？
未能拒絕原假設是原假設為真的證據，但它可能不是特別好的證據，當然也不能證明原假設。
讓我們繞道而行。考慮一下陳詞濫調：
沒有證據不是沒有證據。
儘管它很受歡迎，但這種說法是無稽之談。如果你尋找某樣東西但沒有找到，那絕對是它不存在的證據。證據的好壞取決於您的搜索有多徹底。粗略的搜索提供的證據不足；詳盡的搜索提供了強有力的證據。
現在，回到假設檢驗。當您運行假設檢驗時，您正在尋找零假設不正確的證據。如果你沒有找到它，那麼這肯定是零假設為真的證據，但這個證據有多強？要知道這一點，您必須知道使您拒絕零假設的證據有多大可能躲過了您的搜索。也就是說，您的測試出現假陰性的概率是多少？這和權力有關，, 的測試（具體來說，它是補碼，1-.)
現在，測試的功效以及因此的假陰性率通常取決於您正在尋找的效果的大小。大效應比小效應更容易檢測。因此，沒有單一的對於一個實驗，因此對於零假設的證據有多強這個問題沒有明確的答案。換句話說，總是有一些效應大小足夠小，以至於實驗不排除它。
從這裡開始，有兩種方法可以繼續。有時您知道您不關心小於某個閾值的效果大小。在這種情況下，您可能應該重新構建您的實驗，以使零假設是效果高於該閾值，然後測試該效果低於閾值的替代假設。或者，您可以使用您的結果來設置效果可信大小的界限。你的結論是，效果的大小在某個區間內，有一定的概率。這種方法距離貝葉斯處理僅一步之遙，如果您經常發現自己處於這種情況，您可能想了解更多信息。
對於涉及缺勤測試證據的相關問題，有一個很好的答案，您可能會發現它很有用。