在邏輯回歸中縮放解釋變量時結果的不變性，有證據嗎？

線性回歸有一個標準結果，回歸係數由下式給出

β=(XTX)−1XTy

要么

(XTX)β=XTy

縮放解釋變量不會影響預測。我試圖用代數方式證明這一點，如下所示。

響應通過矩陣方程與解釋變量相關 y=Xβ

X 是一個 n×(p+1) 對 p 個解釋變量的 n 個觀測值矩陣。第一列 X 是一列。

用 a 縮放解釋變量 (p+1)×(p+1) 對角矩陣 D ，其條目是比例因子 Xs=XD

Xs 和 βs 滿足 (2) ：

(DTXTXD)βs=DTXTy

所以

XTXDβs=XTy

⇒Dβs=(XTX)−1XTy=β

⇒βs=D−1β

這意味著如果解釋變量按比例縮放 di 那麼回歸係數 βi 被縮放 1/di 並且縮放的影響抵消了，即考慮基於縮放值的預測，並使用 (4),(5),(3)

ys=Xsβs=XDD−1β=Xβ=y

正如預期的那樣。

現在的問題。

對於沒有任何正則化的邏輯回歸，建議通過使用和不使用縮放進行回歸，可以看到相同的效果

fit <- glm(vs ~ mpg, data=mtcars, family=binomial)

print(fit)

Coefficients:
(Intercept)          mpg  
   -8.8331       0.4304  

mtcars$mpg <- mtcars$mpg * 10

fit <- glm(vs ~ mpg, data=mtcars, family=binomial)

print(fit)

Coefficients:
(Intercept)          mpg  
  -8.83307      0.04304  

當變量 mpg 按比例放大 10 時，對應的係數按比例縮小 10。

1. 對於邏輯回歸，如何以代數方式證明（或證明）這種縮放屬性？

我發現了一個與使用正則化時對 AUC 的影響有關的類似問題。

2. 在沒有正則化的情況下，在邏輯回歸中縮放解釋變量有什麼意義嗎？

這是一個啟發式的想法：

邏輯回歸模型的可能性是 ℓ(β|y)∝∏i(exp(x′iβ)1+exp(x′iβ))yi(11+exp(x′iβ))1−yi

並且 MLE 是該可能性的最大參數。當您縮放回歸量時，您還需要相應地縮放係數以實現原始最大似然。

引用自：https://stats.stackexchange.com/questions/399318