AB測試樣本量手工計算

Evan Miller 創建了一個著名的在線 AB 測試樣本量計算器。為了能夠編程和修改這個公式，我想知道如何手動計算樣本量 Evan Miller 風格。

就我個人而言，我將通過從我們如何計算 95% 置信區間的方式逆向計算這樣一個指標，並使用 z 檢驗圍繞兩種變體之間的轉換差異進行比例檢驗（ ˆd ) 通過將其設置為零。

我將定義/假設：

• α = .05, β = .2
• 控制和實驗之間的比例為 50/50，即 nexp = ncontrol
• 對照轉化率，即實驗前的基礎轉化率= c
• p =合併轉換率=（exp轉換次數+控制轉換次數/（n_control + n_experiment））->在這種情況下-> (nc+n(c+ˆd))/2n = (2c+ˆd)/2

現在是時候解決 n …

ˆd+Z(1+α)/2∗StandardError=0

ˆd+1.96∗StandardError=0

ˆd+1.96∗√p(1−p)(1nexp+1ncontrol)=0

ˆd+1.96∗√p(1−p)(2n)=0

√p(1−p)(2n)=−ˆd1.96

通過更多的簡化，我們得到：

(1.962)2p(1−p)ˆd2=n

(1.962)(2c+2cˆd−2c2+32ˆd2)ˆd2=n

但目前，我的計算沒有包含功率（1- β ) 但埃文·米勒的確實如此。

作為將功效納入樣本量計算的下一步，我應該考慮什麼？

（請隨時指出我的計算或假設中的其他錯誤！）

試試這個： n=(Zα/2√2p1(1−p1)+Zβ√p1(1−p1)+p2(1−p2))2|p2−p1|2

在哪裡：

• p1 是“基線轉化率”
• p2 是絕對“最小可檢測效應”提升的轉化率，這意味著 p1+Absolute Minimum Detectable Effect
• α 是“顯著性水平 α "
• β 是個 β 在“統計能力 1−β "
• Zα/2 表示 z 表中對應於的 Z 分數 α/2
• Zβ 表示 z 表中對應於的 Z 分數 β

在樣本大小計算器（埃文的真棒 A/B 工具）

I found the formula in A/B測試系列文章之怎麼計算實驗所需樣本量

當我選擇：

• p1=20
• p2=p1+Absolute Minimum Detectable Effect=20
• α=5
• β=20
• Z_{\alpha/2}=Z_{5%/2}=-1.959963985
• Z_{\beta}=Z_{20%}=-0.841621234

我使用這個公式得到 1030.219283，在大小計算器中是 1030（Evan’s Awesome A/B Tools）

引用自：https://stats.stackexchange.com/questions/392979