證明嶺回歸是嚴格凸的

嶺回歸的定義 minβ||y−Xβ||22+λ||β||22,λ≥0

如果二階導數嚴格大於 0，則可以證明函數是嚴格凸的

但不幸的是，我不知道這是否足以證明 XTX 消極和 λ 可以是 0。除非我遺漏了什麼。

“如果二階導數嚴格大於0，則可以證明函數是嚴格凸的”

那是一維的。如果二階導數矩陣是半正定的，則多元二次可微函數是凸的，因為這對應於任何方向上的方嚮導數都是非負的。如果二階導數矩陣是正定的，則它是嚴格凸的。

如您所示，嶺損失函數具有二階導數 2λI+2XTX ，對於任何一個都是正定的 λ>0 因為

• λI 對任何都是正定的 λ>0
• XTX 是半正定的 X
• 正定矩陣和半正定矩陣之和是正定矩陣

如果您對其中任何一個都不確定並想更詳細地檢查，那麼了解這一點很有用 A 是正定 iff bTAb>0 對於所有（非零）列向量 b . 由於這種關係，許多正定性矩陣證明只是來自用矩陣表示法編寫正性的標量證明（包括非平凡的結果，如方差的克拉梅拉奧下限）

引用自：https://stats.stackexchange.com/questions/494843