輸出層的激活函數是什麼？

雖然隱藏層的激活函數的選擇非常明確（主要是 sigmoid 或 tanh），但我想知道如何決定輸出層的激活函數。常見的選擇是線性函數、sigmoid 函數和 softmax 函數。但是，我什麼時候應該使用哪一個？

• 回歸：線性（因為值是無界的）
• 分類：softmax（簡單的 sigmoid 也可以，但 softmax 效果更好）

僅當您的輸出允許多個“真實”答案時才使用簡單的 sigmoid，例如，檢查圖像中是否存在各種對象的網絡。換句話說，輸出不是概率分佈（不需要總和為1）。

引用自：https://stats.stackexchange.com/questions/218542