Machine-Learning

在沒有激活函數的神經網絡中擁有密集層有什麼意義?

  • August 7, 2018

我對以下默認設置感到驚訝keras

keras.layers.Dense(units, activation=None, ...)

為什麼我們可以選擇只使用密集層(即矩陣乘法)而不使用激活函數(非線性變換)?我認為這兩者應該始終在神經網絡中結合使用。還有另一種情況,我們可以使用沒有激活函數的密集層嗎?

一種這樣的場景是執行回歸的網絡的輸出層,它應該是自然線性的。本教程演示了這種情況。

我想到的另一個案例是深度線性網絡,它經常在神經網絡文獻中用作玩具模型,用於研究一些對於通常的非線性網絡來說過於復雜的現象。

引用自:https://stats.stackexchange.com/questions/361066

comments powered by Disqus