Neural-Networks

神經網絡的交叉熵成本函數是凸的嗎?

  • April 1, 2015

我的老師證明了交叉熵的二階導數總是正的,因此使用交叉熵的神經網絡的成本函數是凸的。這是真的?我對此很困惑,因為我一直都知道 ANN 的成本函數是非凸的。誰能證實這一點?非常感謝! http://z0rch.com/2014/06/05/cross-entropy-cost-function

指數族的交叉熵總是凸的。因此,對於具有輸入的多層神經網絡, 權重, 和輸出, 和損失函數

是凸的。然而,

由於iamonaboat描述的原因,中間層的參數不會是凸的。

引用自:https://stats.stackexchange.com/questions/144378

comments powered by Disqus