Neural-Networks
神經網絡的交叉熵成本函數是凸的嗎?
我的老師證明了交叉熵的二階導數總是正的,因此使用交叉熵的神經網絡的成本函數是凸的。這是真的?我對此很困惑,因為我一直都知道 ANN 的成本函數是非凸的。誰能證實這一點?非常感謝! http://z0rch.com/2014/06/05/cross-entropy-cost-function
指數族的交叉熵總是凸的。因此,對於具有輸入的多層神經網絡, 權重, 和輸出, 和損失函數
是凸的。然而,
由於iamonaboat描述的原因,中間層的參數不會是凸的。