Neural-Networks
為什麼 0-1 損失函數難以處理？
在 Ian Goodfellow 的《深度學習》一書中，寫道
有時，我們真正關心的損失函數（比如分類錯誤）並不是可以有效優化的。例如，精確地最小化預期的 0-1 損失通常是難以處理的（輸入維度中的指數），即使對於線性分類器也是如此。在這種情況下，通常會優化替代損失函數，它充當代理但具有優勢。
為什麼 0-1 損失難以處理，或者它在輸入維度上如何呈指數增長？
0-1損失函數是非凸的和不連續的，所以不能應用（子）梯度方法。對於帶有線性分離器的二元分類，這個損失函數可以表述為找到最小化指標函數的平均值全面的樣品。這是輸入的指數，因為每對有兩個可能的值，所以有要檢查的可能配置總樣本點。這被認為是 NP 難的。知道你的損失函數的當前值並不能提供任何關於你應該如何修改你當前的解決方案來改進的線索，因為你可以推導出凸函數或連續函數的梯度方法是否可用。