邏輯回歸和 t 檢驗的功效如何比較？

邏輯回歸和 t 檢驗的功效是否等效？如果是這樣，它們應該是“數據密度等效”，我的意思是相同數量的基礎觀察產生相同的功率給定 0.05 的固定 alpha。考慮兩種情況：

1. [參數 t 檢驗]：從二項式觀察中抽取 30 次，並對結​​果值取平均值。對於 A 組（發生 0.70 的二項式 Pr）進行 30 次，對 B 組（發生 0.75 的二項式 Pr）進行 30 次。這將產生每組 30 個均值，代表從二項分佈中抽取的 1,800 個摘要。執行 58df t 檢驗以比較均值。
2. [邏輯回歸]：邏輯回歸使用代表組成員身份的虛擬編碼斜率和 1,800 次抽籤中的每一次進行。

我的問題有兩個部分：

1. 給定一組 0.05 的 alpha，這些方法的功效是相同還是不同？為什麼？我該如何證明呢？
2. 問題 1 的答案是否對進入 t 檢驗的樣本量、t 檢驗中每組的樣本量、潛在的二項式概率或其他一些因素敏感？如果是這樣，我怎麼知道（沒有模擬）功率確實不同，什麼樣的變化會產生什麼樣的功率變化？或者，提供使用模擬解決問題的經過計算的 R 代碼。

如果我計算正確，邏輯回歸漸近與 t 檢驗具有相同的功效。要看到這一點，請記下其對數似然併計算其 Hessian 在其全局最大值處的期望（其負估計 ML 解決方案的方差-協方差矩陣）。不要為通常的邏輯參數化而煩惱：只需用所討論的兩個概率對其進行參數化就更簡單了。細節將取決於您如何測試邏輯回歸係數的顯著性（有幾種方法）。

這些檢驗具有相似的功效應該不足為奇，因為 ML 估計的卡方理論基於對數似然的正態近似，而 t 檢驗基於比例分佈的正態近似。問題的癥結在於兩種方法對兩個比例的估計相同，並且兩種估計都有相同的標準誤。

---

實際分析可能更有說服力。讓我們對給定組（A 或 B）中的值採用一些通用術語：

• 是 1 的概率。
• 是每組抽獎的大小。
• 是抽籤的組數。
• 是數據量。
• （等於或者) 是導致一組平局。
• 是其中的總數 一組平局。
• 是個數的總數。

邏輯回歸本質上是. 它的對數由下式給出

它關於參數的導數是

將第一個設置為零會產生 ML 估計並將其代入第二個表達式的倒數產生方差，這是標準誤的平方。

t 統計量將根據按抽獎集分組的數據從估計器中獲得；即，作為平均值的差值（一個來自 A 組，另一個來自 B 組）除以該差值的標準誤差，該誤差是從平均值的標準差中獲得的。那麼，讓我們看看給定組的均值和標準差。均值等於，這與 ML 估計器相同. 所討論的*標準偏差是繪製均值的標準偏差；*也就是說，它是集合的標準差. 這是問題的癥結所在，所以讓我們探索一些可能性。

1. 假設數據根本沒有分組：也就是說，和. 這是平局手段。他們的樣本方差等於次. 由此可以得出，標準誤差與 ML 標準誤差相同，除了一個因子, 這本質上是什麼時候. 因此——除了這個微小的差異——任何基於邏輯回歸的測試都將與 t 測試相同，我們將獲得基本相同的功效。
2. 當數據被分組時，等於因為統計表示總和伯努利（) 變量，每個變量都有方差. 因此，平均值的預期標準誤差這些值的平方根，和以前一樣。

數字 2 表示測試的功效不應隨著平局的分配方式（即，和受到不同的影響)，除了樣本方差的調整產生的相當小的影響（除非你愚蠢到在每組中使用極少的抽籤組）。

比較有限的模擬到（每個迭代 10,000 次）涉及 （本質上是邏輯回歸）；; 和（最大化樣本方差調整）證明了這一點：功率（在，單邊）在前兩種情況下為 0.59，而在第三種情況下，調整因子會產生重大變化（現在只有兩個自由度，而不是 1798 或 58），它下降到 0.36。另一個測試比較到分別給出 0.22、0.21 和 0.15 的冪：再次，我們觀察到從沒有分組到平局（=邏輯回歸）到分組到 30 組和大幅下降到只有兩組只有輕微下降。

這種分析的道德是：

1. 分區時不會損失太多數據值變成一個大數相對較小的“平局”組。
2. 使用少量組（是小，——每組的數據量——很大）。
3. 你最好不要分組數據值完全“繪製”。只需按原樣分析它們（使用任何合理的測試，包括邏輯回歸和 t 檢驗）。

引用自：https://stats.stackexchange.com/questions/4052