Leaky ReLU 的導數是什麼？

我正在閱讀斯坦福關於該主題的教程，並且我已經達到了這一部分，“訓練神經網絡”。到目前為止，一切都很好。我幾乎什麼都懂。

我想用 Leaky ReLU 改變他在那裡使用的 ReLU。我的問題是，我是否必須改變他進行反向傳播的方式？如果我使用 Leaky ReLU，這些導數將如何變化？

有什麼論文準確地說明了當我們有 Leaky ReLU 時如何完成 back prop？

ReLU 的導數對於 x < 0 為 0，對於 x > 0 為 1。如果洩漏的 ReLU 對於負值具有斜率，例如 0.5，則對於 x < 0，導數將為 0.5，對於 x > 0，導數為 1。

引用自：https://stats.stackexchange.com/questions/275521