嶺回歸等價公式的證明
我讀過最流行的統計學習書籍
1-統計學習的要素。
2-介紹統計學習。
兩者都提到嶺回歸有兩個等效的公式。這個結果有可以理解的數學證明嗎？
我也通過了Cross Validated，但我在那裡找不到明確的證據。
此外，LASSO 是否會享受相同類型的證明？
經典的嶺回歸（Tikhonov 正則化）由下式給出：
$$ \arg \min_{x} \frac{1}{2} {\left| x - y \right|}{2}^{2} + \lambda {\left| x \right|}{2}^{2} $$
上面的主張是以下問題是等價的：
$$ \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left| x - y \right|}{2}^{2} \ \text{subject to} \quad & {\left| x \right|}{2}^{2} \leq t \end{align*} $$
讓我們定義 $ \hat{x} $ 作為第一個問題的最優解和 $ \tilde{x} $ 作為第二個問題的最優解。
等價主張意味著 $ \forall t, : \exists \lambda \geq 0 : \hat{x} = \tilde{x} $ .
也就是說，你總是可以擁有一對 $ t $ 和 $ \lambda \geq 0 $ 這樣問題的解決方法是一樣的。
我們怎麼能找到一對？
好吧，通過解決問題並查看解決方案的屬性。
這兩個問題都是凸的和平滑的，所以它應該讓事情變得更簡單。
第一個問題的解決方案在梯度消失點給出，這意味著：
$$ \hat{x} - y + 2 \lambda \hat{x} = 0 $$
第二個問題的KKT 條件指出：
$$ \tilde{x} - y + 2 \mu \tilde{x} = 0 $$
和
$$ \mu \left( {\left| \tilde{x} \right|}_{2}^{2} - t \right) = 0 $$
最後一個等式表明 $ \mu = 0 $ 或者 $ {\left| \tilde{x} \right|}_{2}^{2} = t $ .
注意兩個基本方程是等價的。
即如果 $ \hat{x} = \tilde{x} $ 和 $ \mu = \lambda $ 兩個方程都成立。
所以這意味著萬一 $ {\left| y \right|}_{2}^{2} \leq t $ 一個必須設置 $ \mu = 0 $ 這意味著對於 $ t $ 足夠大以使兩者相等，必須設置 $ \lambda = 0 $ .
在另一種情況下，應該找到 $ \mu $ 在哪裡：
$$ {y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t $$
這基本上是當 $ {\left| \tilde{x} \right|}_{2}^{2} = t $
一旦你發現 $ \mu $ 解決方案將發生衝突。
關於 $ {L}_{1} $ （LASSO）案例，好吧，它的工作原理相同。
唯一的區別是我們沒有關閉解決方案，因此推導連接更加棘手。
看看我在StackExchange Cross Validated Q291962和StackExchange Signal Processing Q21730 的回答 - 意義 $ \lambda $ 在基礎追求。
備註
實際發生了什麼？
在這兩個問題中， $ x $ 試圖盡可能接近 $ y $ .
在第一種情況下， $ x = y $ 將消失第一個術語（ $ {L}_{2} $ 距離），在第二種情況下，它會使目標函數消失。
不同之處在於，在第一種情況下，必須平衡 $ {L}_{2} $ 規範 $ x $ . 作為 $ \lambda $ 餘額變高意味著你應該做 $ x $ 更小。
在第二種情況下，有一堵牆，你帶來 $ x $ 越來越接近 $ y $ 直到你撞到牆，這是對其規範的約束（通過 $ t $ ）。
如果牆足夠遠（高值 $ t $ ) 並且足夠取決於 $ y $ 那麼我沒有意義，就像 $ \lambda $ 僅與其值乘以 $ y $ 開始有意義。
確切的聯繫是上述拉格朗日。
資源
我今天（2019 年 3 月 4 日）找到了這篇論文：