“單位方差”嶺回歸估計量的極限𝜆→∞λ→∞lambdatoinfty
考慮帶有附加約束的嶺回歸，要求具有單位平方和（相當於單位方差）；如果需要，可以假設也有單位平方和：
什麼是極限什麼時候?
以下是一些我認為是正確的陳述：
- 什麼時候，有一個簡潔的顯式解決方案：採用 OLS 估計器並對其進行歸一化以滿足約束（可以通過添加拉格朗日乘數和微分來看到這一點）：
- 一般來說，解決方案是
我沒有看到封閉形式的解決方案. 似乎該解決方案等效於通常的 RR 估計器 標準化以滿足約束，但我沒有看到一個封閉的公式. 3. 什麼時候, 通常的 RR 估計量
顯然收斂到零，但它的方向 收斂於，也就是第一個偏最小二乘 (PLS) 分量。
陳述（2）和（3）一起讓我認為也許也收斂到適當的歸一化，但我不確定這是否正確，無論哪種方式我都無法說服自己。
#幾何解釋
問題中描述的估計量是以下優化問題的拉格朗日乘數等價物：
$$ \text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ } $$
$$ \begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \ g(\beta) &= \lVert \beta \lVert^2\ h(\beta) &= \lVert X\beta \lVert^2 \end{align} $$
從幾何上看，這可以看作是找到最小的橢球 $ f(\beta)=\text{RSS } $ 觸及球體的交點 $ g(\beta) = t $ 和橢球 $ h(\beta)=1 $
與標準嶺回歸視圖的比較
就幾何視圖而言，這改變了橢球體（錯誤）和球體（ $ |\beta|^2=t $ ) 觸摸。進入一個新視圖，我們在其中尋找球體（誤差）接觸曲線的點（β範數受約束 $ |X\beta|^2=1 $ ) . 一個球體（左圖中的藍色）由於與 $ |X\beta|=1 $ 約束。
在二維情況下，這很容易查看。
當我們調整參數 $ t $ 然後我們改變藍色/紅色球體的相對長度或相對大小 $ f(\beta) $ 和 $ g(\beta) $ （在拉格朗日乘數理論中，可能有一種簡潔的方式來正式準確地描述這意味著對於每個 $ t $ 作為函數 $ \lambda $ ，或反轉，是一個單調的函數。但我想你可以直觀地看到殘差平方和只有在我們減少時才會增加 $ ||\beta|| $ .)
解決方案 $ \beta_\lambda $ 為了 $ \lambda=0 $ 就像你在 0 和 $ \beta_{LS} $
解決方案 $ \beta_\lambda $ 為了 $ \lambda \to \infty $ 是（確實正如您所評論的那樣）在第一個主成分的負載中。這就是 $ \lVert \beta \rVert^2 $ 是最小的 $ \lVert \beta X \rVert^2 = 1 $ . 這是圓的點 $ \lVert \beta \rVert^2=t $ 觸及橢圓 $ |X\beta|=1 $ 在一個點。
在這個二維視圖中，球體相交的邊緣 $ \lVert \beta \rVert^2 =t $ 和球體 $ \lVert \beta X \rVert^2 = 1 $ 是點。在多個維度中，這些將是曲線
（我首先想像這些曲線是橢圓，但它們更複雜。你可以想像橢圓 $ \lVert X \beta \rVert^2 = 1 $ 被球相交 $ \lVert \beta \rVert^2 \leq t $ 作為某種橢圓截頭體，但邊緣不是簡單的橢圓）
##關於限制 $ \lambda \to \infty $
起初（以前的編輯）我寫道會有一些限制 $ \lambda_{lim} $ 在此之上所有解決方案都是相同的（並且它們位於點 $ \beta^_\infty $ ）。但事實並非如此*
將優化視為 LARS 算法或梯度下降。如果對於任何一點 $ \beta $ 有一個方向我們可以改變 $ \beta $ 這樣處罰期限 $ |\beta|^2 $ 增加小於 SSR 項 $ |y-X\beta|^2 $ 減少那麼你不是最低限度的。
- 在正常的嶺回歸中，您的斜率為零（在所有方向上） $ |\beta|^2 $ 在這一點 $ \beta=0 $ . 所以對於所有有限的 $ \lambda $ 解決辦法不能 $ \beta = 0 $ （因為可以在不增加懲罰的情況下進行無窮小的步驟來減少殘差平方和）。
- 對於 LASSO，這是不一樣的，因為：懲罰是 $ \lvert \beta \rvert_1 $ （所以它不是零斜率的二次方）。因為那個 LASSO 會有一些限制值 $ \lambda_{lim} $ 高於它所有的解決方案都為零，因為懲罰項（乘以 $ \lambda $ ) 將增加超過殘差平方和減少。
- 對於約束嶺，您得到的結果與常規嶺回歸相同。如果你改變 $ \beta $ 從 $ \beta^_\infty $ 那麼這個變化將垂直於 $ \beta $ （這 $ \beta^\infty $ 垂直於橢圓的表面 $ |X\beta|=1 $ ） 和 $ \beta $ 可以在不改變懲罰項但減少殘差平方和的情況下通過一個無窮小的步長來改變。因此對於任何有限 $ \lambda $ 重點 $ \beta^*\infty $ 不能解決。
##關於限制的進一步說明 $ \lambda \to \infty $
通常的嶺回歸極限 $ \lambda $ 到無窮大對應於約束嶺回歸中的不同點。這個“舊”限制對應於點 $ \mu $ 等於-1。那麼拉格朗日函數在歸一化問題中的導數
$$ 2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta $$對應於標準問題中拉格朗日函數導數的解
$$ 2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$} $$
