基於排列的 p 值所需的排列數
如果我需要計算基於排列的 $ p $ -具有顯著性水平的值 $ \alpha $ ，我需要多少排列？
來自文章“研究分類器性能的排列測試”，第 5 頁：
在實踐中，上限 $ 1/(2\sqrt{k}) $ 通常用於確定達到所需測試精度所需的樣本數量。
… 在哪裡 $ k $ 是排列的數量。
如何從此公式計算所需的排列數？
我承認，這一段可能令人困惑。
在執行置換檢驗時，您確實估計了一個 p 值。問題是，p 值的估計本身有一個誤差，計算為. 如果誤差太大，則 p 值不可靠。
那麼需要多少個排列 k 才能得到一個可靠的估計呢？
首先定義您的最大允許誤差，即精度。讓它成為. 然後估計的 p 值應在區間內（因為 p近似正態分佈）
使用上限
該論文的引用段落建議使用作為誤差的上限估計，而不是. 這對應於 p=0.5 的未知 p 值（對於固定 k，在所有 ps 中誤差最大）。
所以：你想知道k在哪裡.
<=>
但由於引用的公式代表一個上限，因此這種方法非常粗糙。
在顯著性水平上使用誤差
另一種方法使用所需的顯著性水平作為 p 來計算所需的精度。這是正確的，因為如果我們接近決策閾值（即顯著性水平），估計 p 的誤差更重要。
在這種情況下，人們想知道 k 在哪裡.
<=>
請注意，如果真正的未知 p 值明顯大於，那麼誤差實際上更大，所以 p in不再持有。
擴展置信區間
這種方法對應於置信區間的中心正好在決策閾值處。為了強制估計 p 的置信區間的上限低於決策閾值（更正確），需要…
<=>
其中 l 對應（再次參見圖形）
| l | confidence interval | | 1 | ~68 % | | 2 | ~95 % | | 3 | ~99 % |示例： 假設所需的精度 P 為 0.005。
然後使用粗略的上限得到.
使用 P 在並要求得到一個 95% 的置信區間.
對於 P = 0.01 在95% 的置信區間得到 k>=396。
最後：我強烈建議深入研究蒙特卡羅模擬。維基百科提供了一個開始。