Kolmogorov Smirnov檢驗的直觀解釋

June 12, 2020

向某人解釋 Kolmogorov Smirnov 測試概念的最簡潔、最簡單的方法是什麼？直觀上是什麼意思？

這是一個我難以表達的概念——尤其是在向某人解釋時。

有人可以用圖表和/或使用簡單的例子來解釋它嗎？

Kolmogorov-Smirnov 檢驗評估隨機樣本（數值數據）來自連續分佈的假設，該連續分佈完全指定而無需參考數據。

這是這種分佈的累積分佈函數 (CDF) 的圖表。

樣本可以通過其經驗（累積）分佈函數或 ECDF 來完全描述。它繪製小於或等於水平值的數據分數。因此，隨機抽樣值，當我們從左到右掃描時，它向上跳躍每次我們跨越一個數據值。

下圖顯示了樣本的 ECDF 取自該分佈的值。點符號定位數據。繪製線條以提供點之間的視覺連接，類似於連續 CDF 的圖形。

KS 測試使用它們的圖表之間的最大垂直差異來比較 CDF 和 ECDF。金額（正數）是Kolmogorov-Smirnov 檢驗統計量。

我們可以通過定位位於 CDF 上方或下方最遠的數據點來可視化 KS 檢驗統計量。 此處以紅色突出顯示。檢驗統計量是極值點與參考 CDF 值之間的垂直距離。繪製了兩條位於 CDF 上方和下方此距離的限製曲線以供參考。因此，ECDF 位於這些曲線之間，並且至少與其中一條曲線相接觸。

為了評估 KS 檢驗統計量的重要性，我們像往常一樣將其與 KS 檢驗統計量進行比較，KS 檢驗統計量往往會出現在假設分佈的完全隨機樣本中。 可視化它們的一種方法是繪製許多此類（獨立）樣本的 ECDF，以表明它們的KS 統計數據是什麼。這形成了 KS 統計量的“零分佈”。

每個的 ECDF 樣本與單個紅色標記一起顯示，該標記位於它與假設的 CDF 最不同的位置。在這種情況下，與大多數隨機樣本相比，原始樣本（藍色）與 CDF 的偏差明顯較小。（73% 的隨機樣本比藍色樣本更遠離 CDF。從視覺上看，這意味著 73% 的紅點落在由兩條紅色曲線分隔的區域之外。）因此，我們（在此基礎上）沒有結論我們的（藍色）樣本的證據不是由該 CDF 生成的。也就是說，差異“在統計上不顯著”。

更抽像地說，我們可以在這組大的隨機樣本中繪製 KS 統計量的分佈。 這稱為*檢驗統計量的零分佈。*這裡是：

垂直藍線定位原始樣本的 KS 檢驗統計量。27% 的隨機 KS 測試統計量較小，73% 的隨機統計量較大。掃一掃，看起來數據集（這個大小，這個假設的 CDF）的 KS 統計量必須超過 0.4 左右才能得出結論它非常大（因此構成假設的 CDF 不正確的重要證據） .

雖然可以說更多——特別是關於為什麼 KS 測試以相同的方式工作並產生相同的零分佈，對於任何連續 CDF——這足以理解測試並將其與概率圖一起使用來評估數據分佈。

應要求，這是R我用於計算和繪圖的基本代碼。它使用標準正態分佈 ( pnorm) 作為參考。註釋掉的行表明我的計算與內置ks.test函數的計算一致。我不得不修改它的代碼以提取有助於 KS 統計的特定數據點。
ecdf.ks <- function(x, f=pnorm, col2="#00000010", accent="#d02020", cex=0.6,
                   limits=FALSE, ...) {
 obj <- ecdf(x)
 x <- sort(x)
 n <- length(x)
 y <- f(x) - (0:(n - 1))/n
 p <- pmax(y, 1/n - y)
 dp <- max(p)
 i <- which(p >= dp)[1]
 q <- ifelse(f(x[i]) > (i-1)/n, (i-1)/n, i/n)

 # if (dp != ks.test(x, f)$statistic) stop("Incorrect.")

 plot(obj, col=col2, cex=cex, ...)
 points(x[i], q, col=accent, pch=19, cex=cex)
 if (limits) {
   curve(pmin(1, f(x)+dp), add=TRUE, col=accent)
   curve(pmax(0, f(x)-dp), add=TRUE, col=accent)
 }
 c(i, dp)
}