為什麼在神經網絡中使用梯度下降？

1. 當使用反向傳播算法訓練神經網絡時，梯度下降法用於確定權重更新。我的問題是：與其使用梯度下降法慢慢定位關於某個權重的最小點，不如直接設置導數, 並找到權重的值哪個最小化錯誤？
2. 另外，為什麼我們確定反向傳播中的誤差函數是最小的？難道不能證明誤差函數是最大值嗎？壓縮函數是否有一個特定的屬性可以保證具有任意數量的具有任意權重和輸入向量的隱藏節點的網絡總是會給出具有最小值的誤差函數？

1. 因為我們做不到。優化面作為權重的函數是非線性的，不存在封閉形式的解.
2. 梯度下降，顧名思義，下降。如果下降後到達一個靜止點，它必須是（局部）最小值或鞍點，但絕不是局部最大值。

引用自：https://stats.stackexchange.com/questions/181629