T-Test
如何對大量樣本進行 t 檢驗？
我有兩個種群，一個具有 N=38,704（觀察次數），另一個具有 N=1,313,662。這些數據集有大約 25 個變量，都是連續的。我取每個數據集中每個數據的平均值，並使用公式計算測試統計量
t=平均差/標準差
問題在於自由度。通過 df=N1+N2-2 的公式，我們將擁有比表格處理更多的自由度。對此有何建議？如何在此處檢查 t 統計量。我知道 t 檢驗用於處理樣本，但如果我們將其應用於大樣本會怎樣。
chl 已經提到了在使用相同的數據集同時進行 25 次測試時多重比較的陷阱。一種簡單的處理方法是通過將 p 值閾值除以測試數（在本例中為 25）來調整它們。更精確的公式是：調整後的 p 值 = 1 - (1 - p 值)^(1/n)。然而，這兩個不同的公式得出幾乎相同的調整 p 值。
您的假設檢驗練習還有另一個主要問題。你肯定會遇到第一類錯誤（誤報），你會發現一些非常微不足道的差異，這些差異在 99.9999% 的水平上非常顯著。這是因為當您處理如此大的樣本（n = 1,313,662）時，您會得到一個非常接近於 0 的標準誤差。這是因為 1,313,662 的平方根 = 1,146。因此，您將標準差除以 1,146。簡而言之，您將捕捉到可能完全無關緊要的微小差異。
我建議您擺脫這種假設檢驗框架，而是進行效果大小類型分析。在這個框架內，統計距離的度量是標準偏差。與標準誤差不同，標準差不會因樣本大小而人為縮小。而且，這種方法將使您更好地了解數據集之間的實質性差異。效應量也更關注平均差異周圍的置信區間，這比假設檢驗關注通常根本不顯著的統計顯著性提供的信息要多得多。希望有幫助。