Statistical-Significance
如果樣本量很大，Kolmogorov-Smirnov-Test 是否過於嚴格？
我經常聽到這樣的說法，如果樣本量相當大，KS-Test（用於比較兩個樣本描述的兩個分佈）過於嚴格，這意味著相等分佈的 0 假設被拒絕太頻繁。
在我的應用程序中，我得到了 2 個樣本，每個樣本有 1500 個觀測值，並且給定 KS 統計量的 P 值較低。儘管如此，如果我繪製直方圖/密度估計值，我的數據看起來很相似。
我的問題：我們能否使 KS-test 過於嚴格的陳述更加嚴格（我們能否說明觀察次數的閾值？）。它是“真的”嗎？有沒有參考？
謝謝！PS：我知道這看起來像一個重複但檢查網站的第一個建議我沒有看到明確的重複。如果這是重複的，請參考我！:)
編輯：我添加了一些背景。我要比較的分佈是邏輯回歸模型中的解釋變量。它是在某個樣本 (A) 上開發的，我想將其應用於另一個樣本 (B)。我無法測試模型，因為我不知道 B 的結果。人們在這裡用來評估模型是否在 B 上給出合理結果的一種方法是測試類似分佈的變量（KS 檢驗、卡方檢驗） ）。
是否有更好的方法來評估在不知道 B 上的結果的情況下將在 A 上開發的模型應用到 B 上是否具有統計意義（談到區分能力）？
通過測試，您試圖找出與零假設的偏差。樣本越大，我們檢測這種偏差的能力就越好，即使是很小的偏差。因此，如果您在大樣本中進行測試，您將經常拒絕零假設，因為存在實質上的微不足道的偏差。這就是許多人說統計檢驗在大樣本中過於頻繁地拒絕零值時的意思。
嚴格來說他們是錯誤的：測試正確回答了用戶提出的問題，只是用戶提出的問題不是他想問的問題……但是嘗試為假設設計一個測試程序：兩個分佈是相等的，忽略實質上微不足道的差異。我們（人類）可以決定什麼是實質上微不足道的，而像統計測試這樣的程序則不能。