證明嶺回歸是嚴格凸的

嶺回歸的定義 $$ min_\beta||y-X\beta||_2^2+\lambda||\beta||_2^2, \lambda\ge0 $$

如果二階導數嚴格大於 0，則可以證明函數是嚴格凸的

但不幸的是，我不知道這是否足以證明 $ X^TX $ 消極和 $ \lambda $ 可以是 0。除非我遺漏了什麼。

“如果二階導數嚴格大於0，則可以證明函數是嚴格凸的”

那是一維的。如果二階導數矩陣是半正定的，則多元二次可微函數是凸的，因為這對應於任何方向上的方嚮導數都是非負的。如果二階導數矩陣是正定的，則它是嚴格凸的。

如您所示，嶺損失函數具有二階導數 $ 2\lambda I +2X^TX $ ，對於任何一個都是正定的 $ \lambda>0 $ 因為

• $ \lambda I $ 對任何都是正定的 $ \lambda>0 $
• $ X^TX $ 是半正定的 $ X $
• 正定矩陣和半正定矩陣之和是正定矩陣

如果您對其中任何一個都不確定並想更詳細地檢查，那麼了解這一點很有用 $ A $ 是正定 iff $ b^TAb>0 $ 對於所有（非零）列向量 $ b $ . 由於這種關係，許多正定性矩陣證明只是來自用矩陣表示法編寫正性的標量證明（包括非平凡的結果，如方差的克拉梅拉奧下限）

引用自：https://stats.stackexchange.com/questions/494843