Least-Squares
彈性網絡回歸中的 lambda 範圍
給定彈性網絡回歸
怎樣才能有合適的範圍選擇交叉驗證？
在裡面案例（嶺回歸）公式
可用於為每個 lambda 提供等效的自由度（其中是的奇異值)，並且可以在合理的範圍內選擇自由度。
在裡面案例（套索）我們知道
將導致所有為零，並且可以在一定範圍內選擇.
但是如何處理混合情況？
我認為你應該使用一系列到
我的推理來自擴展套索案例，下面是完整的推導。限定符是它不捕獲由正則化。如果我弄清楚如何解決這個問題（並決定它是否真的需要修復），我會回來編輯它。
定義目標
這是您描述的目標，但替換了一些參數以提高清晰度。
按照慣例，只能是優化問題的解決方案如果梯度在為零。術語 雖然是不平滑的，所以條件實際上是位於次梯度處.
次梯度是
在哪裡表示相對於的次梯度. 在, 這變成
在哪裡是維度, 和一個是一個維立方體。所以對於優化問題有一個解，應該是這樣
對於每個組件. 這相當於
這是你給的定義. 如果現在換了，帖子頂部的公式掉了。