嶺回歸等價公式的證明
我讀過最流行的統計學習書籍
1-統計學習的要素。
2-介紹統計學習。
兩者都提到嶺回歸有兩個等效的公式。這個結果有可以理解的數學證明嗎？
我也通過了Cross Validated，但我在那裡找不到明確的證據。
此外，LASSO 是否會享受相同類型的證明？
經典的嶺回歸（Tikhonov 正則化）由下式給出：
$$ \arg \min_{x} \frac{1}{2} {\left| x - y \right|}{2}^{2} + \lambda {\left| x \right|}{2}^{2} $$
上面的主張是以下問題是等價的：
$$ \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left| x - y \right|}{2}^{2} \ \text{subject to} \quad & {\left| x \right|}{2}^{2} \leq t \end{align*} $$
讓我們定義 ˆx 作為第一個問題的最優解和 ˜x 作為第二個問題的最優解。
等價主張意味著 ∀t,:∃λ≥0:ˆx=˜x .
也就是說，你總是可以擁有一對 t 和 λ≥0 這樣問題的解決方法是一樣的。
我們怎麼能找到一對？
好吧，通過解決問題並查看解決方案的屬性。
這兩個問題都是凸的和平滑的，所以它應該讓事情變得更簡單。
第一個問題的解決方案在梯度消失點給出，這意味著：
ˆx−y+2λˆx=0
第二個問題的KKT 條件指出：
˜x−y+2μ˜x=0
和
μ(|˜x|22−t)=0
最後一個等式表明 μ=0 或者 |˜x|22=t .
注意兩個基本方程是等價的。
即如果 ˆx=˜x 和 μ=λ 兩個方程都成立。
所以這意味著萬一 |y|22≤t 一個必須設置 μ=0 這意味著對於 t 足夠大以使兩者相等，必須設置 λ=0 .
在另一種情況下，應該找到 μ 在哪裡：
yt(I+2μI)−1(I+2μI)−1y=t
這基本上是當 |˜x|22=t
一旦你發現 μ 解決方案將發生衝突。
關於 L1 （LASSO）案例，好吧，它的工作原理相同。
唯一的區別是我們沒有關閉解決方案，因此推導連接更加棘手。
看看我在StackExchange Cross Validated Q291962和StackExchange Signal Processing Q21730 的回答 - 意義 λ 在基礎追求。
備註
實際發生了什麼？
在這兩個問題中， x 試圖盡可能接近 y .
在第一種情況下， x=y 將消失第一個術語（ L2 距離），在第二種情況下，它會使目標函數消失。
不同之處在於，在第一種情況下，必須平衡 L2 規範 x . 作為 λ 餘額變高意味著你應該做 x 更小。
在第二種情況下，有一堵牆，你帶來 x 越來越接近 y 直到你撞到牆，這是對其規範的約束（通過 t ）。
如果牆足夠遠（高值 t ) 並且足夠取決於 y 那麼我沒有意義，就像 λ 僅與其值乘以 y 開始有意義。
確切的聯繫是上述拉格朗日。
資源
我今天（2019 年 3 月 4 日）找到了這篇論文：