Neural-Networks
ReLU 層是否適用於淺層網絡？
我目前正在訓練一個 5 層的神經網絡，我遇到了一些 tanh 層的問題，想試試 ReLU 層。但我發現 ReLU 層變得更糟。我想知道是因為我沒有找到最佳參數還是僅僅因為 ReLU 只適用於深度網絡？
謝謝！
更改激活函數會與您所做的所有其他配置選擇交互，從初始化方法到正則化參數。您將不得不再次調整網絡。