Ab-Test
A/B 測試使用什麼統計測試？
我們有兩個隊列，每個隊列有 1000 個樣本。我們對每個隊列測量 2 個數量。第一個是二進制變量。第二個是遵循重尾分佈的實數。我們想要評估哪個隊列在每個指標上表現最好。有很多統計檢驗可供選擇：人們建議使用 z 檢驗，其他人使用 t 檢驗，其他人則使用 Mann-Whitney U.
- 對於我們的案例，我們應該為每個指標選擇哪些測試或測試？
- 如果一項測試表明群組之間存在顯著差異，而另一項測試表明差異不顯著，會發生什麼？
鑑於您的兩個指標是 1）二元和 2）重尾，您應該避免假設正態分佈的 t 檢驗。
我認為 Mann-Whitney U 是您的最佳選擇，即使您的分佈接近正常，也應該足夠有效。
關於你的第二個問題：
如果一項測試表明群組之間存在顯著差異，而另一項測試表明差異不顯著，會發生什麼？
如果統計差異是臨界的並且數據具有“混亂”的樣本分佈，這種情況並不少見。這種情況要求分析師仔細考慮每個統計檢驗的所有假設和限制，並給予違反假設次數最少的統計檢驗最大權重。
假設正態分佈。有各種測試正常性，但這不是故事的結尾。即使與正態性存在一些偏差，一些測試在對稱分佈上也能很好地工作，但在偏態分佈上效果不佳。
作為一般經驗法則，我建議您不要運行任何明顯違反其假設的測試。
**編輯：**對於第二個變量，只要轉換是保序的，就可以將變量轉換為正態分佈（或至少接近）的變量。您需要對轉換為兩個群組產生正態分佈有充分的信心。如果您將第二個變量擬合為對數正態分佈，則對數函數將其轉換為正態分佈。但是如果分佈是帕累托（冪律），那麼就不會轉換為正態分佈。