為什麼統計學家說一個不顯著的結果意味著“你不能拒絕零”而不是接受零假設？
傳統的統計檢驗，如兩樣本 t 檢驗，側重於試圖消除兩個獨立樣本的函數之間沒有差異的假設。然後，我們選擇一個置信水平，如果均值的差異超過 95% 的水平，我們可以拒絕原假設。如果不是，我們“不能拒絕原假設”。這似乎意味著我們也不能接受。這是否意味著我們不確定原假設是否為真？
現在，我想設計一個測試，我的假設是兩個樣本的函數相同（這與假設兩個樣本不同的傳統統計測試相反）。所以，我的零假設變成了兩個樣本不同。我應該如何設計這樣的測試？會不會這麼簡單，如果 p 值小於 5%，我們可以接受沒有顯著差異的假設？
傳統上，原假設是一個點值。（通常是，但實際上可以是任何點值。）備擇假設是真值是除空值之外的任何值。由於連續變量（例如均值差）可以取一個無限接近零值但仍不完全相等的值，從而使零假設為假，因此無法證明傳統的點零假設。
想像一下你的零假設是，你觀察到的平均差是. 假設原假設為真是否合理？你還不知道；了解我們的置信區間是什麼樣子會很有幫助。假設您的 95% 置信區間是. 現在，我們是否應該得出結論，真正的價值是? 這麼說我會覺得不舒服，因為 CI 非常寬，並且有很多很大的非零值，我們可能會合理地懷疑這些值與我們的數據一致。假設我們收集了很多很多的數據，現在我們觀察到的平均差是，但 95% CI 是. 觀察到的平均差異保持不變（如果它真的發生，那將是驚人的），但置信區間現在排除了空值。當然，這只是一個思想實驗，但應該把基本的思路講清楚。我們永遠無法證明真實值是任何特定的點值；我們只能（可能）反駁它是某個點值。在統計假設檢驗中，p 值 > 0.05（並且 95% CI 包括零）這一事實意味著我們不確定原假設是否為真。
至於你的具體情況，你不能構建一個測試，其中替代假設是平均差是零假設不是零。這違反了假設檢驗的邏輯。它是您的實質性科學假設是完全合理的，但它不能成為您在假設檢驗情況下的替代假設。
所以，你可以做什麼？在這種情況下，您使用等價測試。（您可能希望通過單擊等價標記。）典型的策略是使用兩個單邊測試方法。非常簡單地說，您選擇一個區間，在該區間內，您認為真正的平均差也可能是您可能會關心，然後您執行單邊測試以確定觀察值是否小於該區間的上限，並執行另一個單邊測試以確定它是否大於下限。如果這兩個檢驗都顯著，那麼您拒絕了真實值超出您關心的區間的假設。如果一個（或兩個）都不顯著，則您無法拒絕真實值在區間之外的假設。
例如，假設區間內的任何事物非常接近於零，以至於您認為就您的目的而言它基本上與零相同，因此您將其用作您的實質性假設。現在想像你得到了上面描述的第一個結果。雖然落在該區間內，您將無法在任一單側 t 檢驗上拒絕原假設，因此您將無法拒絕原假設。另一方面，假設您得到了上述第二個結果。現在你發現觀測值落在指定區間內，可以證明它既小於上界又大於下界，所以可以拒絕空值。（值得注意的是，您可以拒絕真實值是，以及真值位於區間之外的假設, 乍一看可能令人困惑，但與假設檢驗的邏輯完全一致。）